谷歌发布ASPIRE训练框架,提升AI选择性预测能力

描述

  近期,谷歌公布新版ASPIRE训练架构,该架构主要用于改进大型语言模型的选择性预测情况。谷歌表示,尽管大语言模型在自然语言理解与生成领域发展迅速,应用广泛,然而在涉及到高风险决策时,其预测能力仍待加强。为此,谷歌推出ASPIRE训练框架,通过向模型引入“可信度”机制,提升预测准确率。

  该框架分为三步骤:“特定任务调整”、“答案采样”以及“自我评估学习”。首先,“特定任务调整”阶段针对基本训练的大型语言模型进一步深化训练,重点提高预测能力。其次,“答案采样”阶段模型会根据调整的参数,生成多个答案,同时建立自我评估学习数据集,产生较高信度的选项。最后,“自我评估学习”阶段则设定参数以提升机模自我评估能力,使之能检测答案准确性,以便在回答问题时附加可信度评分。

  据悉该架构取得显著成效。在CoQA、TriviaQA和SQuAD三个问答数据集测试中,经由ASPIRE调整的OPT-2.7B小模型表现全面优于更大规模的OPT-30B模型。此成果证实,经适配调整,小型语言模型亦有潜力超越大型语言模型。

  研究人员总结指出,ASPIRE训练框架有效改善了大型语言模型的输出精度,使小型模型经微调后可以实现“恰当且自信”的预测。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分