老外用gpt來驗證，填空題是個有效的學習方法，你之所以成績不好，是因為做得題目不夠多，所以總結不出「正確的答案」
ChatGPT/InstructGPT详解

沒錯沒錯

（師者，傳道授業解惑，人家早就講了老師的重要性，那麼怎麼用數學來實現這個概念呢，答案是人工標註）
很自然的，我们可以通过人工标注的方式来提供这个奖励，通过人工对可以给那些涉及偏见的生成内容更低的分从而鼓励模型不去生成这些人类不喜欢的内容。

（然後大數據就是大量收集用戶數據，大量用戶來幫你出考題，打分數，做標註）
InstructGPT的PPO数据没有进行标注，它均来自GPT-3的API的用户。既又不同用户提供的不同种类的生成任务，其中占比最高的包括生成任务（45.6%），QA（12.4%），头脑风暴（11.2%），对话（8.4%）等。

强化学习和预训练模型是最近两年最为火热的AI方向之二，之前不少科研工作者说强化学习并不是一个非常适合应用到预训练模型中，因为很难通过模型的输出内容建立奖励机制。而InstructGPT/ChatGPT反直觉的做到了这点，它通过结合人工标注，将强化学习引入到预训练语言模型是这个算法最大的创新点。