资料下载
ChatGPT能否成为下一代搜索引擎
王兰
分享资料个
在“人工标注数据+强化学习”框架下，具体而言，InstructGPT的训练过程分为以下三个阶段：
第一阶段：冷启动阶段的监督策略模型
靠GPT 3本身，尽管它很强，但是它很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3初步具备理解指令中蕴含的意图，首先会从测试用户提交的prompt（就是指令或问题）中随机抽取一批，靠专业的标注人员，给出指定prompt的高质量答案，然后用这些人工标注好的数据来Fine-tune GPT 3模型。经过这个过程，我们可以认为 GPT 3初步具备了理解人类prompt中所包含意图，并根据这个意图给出相对高质量回答的能力，但是很明显，仅仅这样做是不够的。
第二阶段：训练回报模型（RewardModel，RM）
这个阶段的主要目的是通过人工标注训练数据，来训练回报模型。具体而言，随机抽样一批用户提交的prompt（大部分和第一阶段的相同），使用第一阶段Fine-tune好的冷启动模型，对于每个prompt，由冷启动模型生成K个不同的回答，于是模型产生出了，…。数据。之后，标注人员对K个结果按照很多标准（上面提到的相关性、富含信息性、有害信息等诸多标准）综合考虑进行排序，给出K个结果的排名顺序，这就是此阶段人工标注的数据。接下来，我们准备利用这个排序结果数据来训练回报模型，采取的训练模式其实就是平常经常用到的pair-wiselearning to rank。对于K个排序结果，两两组合，形成 （ k 2 ） \binom{k}{2} （2k） 个训练数据对，ChatGPT采取pair-wiseloss来训练Reward Model。RM模型接受一个输入，给出评价回答质量高低的回报分数Score。对于一对训练数据，我们假设人工排序中answer1排在answer2前面，那么Loss函数则鼓励RM模型对的打分要比 的打分要高。归纳下：在这个阶段里，首先由冷启动后的监督策略模型为每个prompt产生K个结果，人工根据结果质量由高到低排序，以此作为训练数据，通过pair-wiselearning to rank模式来训练回报模型。对于学好的RM模型来说，输入，输出结果的质量得分，得分越高说明产生的回答质量越高。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
