在机器学习的历史上，监督学习一直是主流的方法，需要通过标注大量的数据来训练模型。然而，随着模型规模的不断增大，数据量的需求也变得越来越大，使得标注数据的时间和成本变得难以控制，并且高质量的标注数据的生产速度也无法满足大型模型的需求。这个问题在大型强化学习模型（Large-Scale Deep Reinforcement Learning，LLDL）中更加严重。虽然预训练模型（Pretrained Models）实现了从有监督学习到无监督学习的跨越，但是在过去一段时间内，许多人担心数据标注在LLDL时代的价值。

然而，随着 ChatGPT 的出现，这种担忧有所缓解。ChatGPT 使用强化学习和人类反馈来使模型更好地与人类指令保持一致，即 RLHF (Reinforcement Learning from Human Feedback）。这个过程中涉及到大量的数据标注工作。

RLHF 的数据标注与此前的低成本劳动力完成的简单数据标注工作也有所不同。现在的数据标注需要非常专业的人士来完成，他们需要针对相应的问题和指令，给出符合人类逻辑与表达的高质量答案。倍赛科技作为大模型训练的上游供应商，针对大模型训练也开发了相应的标注工具以满足市场需求。

标注数据对于 ChatGPT 效果的提升至关重要，是 ChatGPT 区别于其他竞争对手的原因之一。虽然 GPT-3 仍然采用了预训练模型路线，但是它也使用了深度学习中的无监督学习方法，由于 GPT-3 需要生成更加复杂和真实的文本，因此它需要更多高质量的标注数据。

Google 的一位技术专家也表示，在 ChatGPT 出来后，Google 也在针对数据标注问题进行反思。他认为，在 GPT-3 之后，数据标注变得更加重要，因为它可以帮助模型更好地理解人类指令，并且在调整模型时更加精确。因此，OpenAI 和其他公司都需要更多高质量的标注数据来训练他们的大模型。