0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

复旦邱锡鹏团队发布国内首个类ChatGPT模型MOSS

机器人技术与应用 来源:上观新闻 2023-03-01 09:41 次阅读

ChatGPT发布以来,基于指令学习技术的类ChatGPT模型在我国能否开发成功,成为业界关注的一个焦点。近日,从复旦大学自然语言处理实验室获悉,国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。

MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。

邱锡鹏表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。

“端到端”走通大语言模型

由于ChatGPT并未开源,其技术方案细节也未公开,科研人员对此有诸多猜测。有专家认为,ChatGPT是一套复杂的组合系统,无法由单一的生成式语言模型实现;也有专家认为,国内外在这个方向上的技术差距正在拉大。

作为自然语言处理专家,邱锡鹏近年来致力于研究具有多任务学习能力的通用模型。为了探索ChatGPT的技术路线,并获得大语言模型研究的一手经验,他带领团队加快了MOSS开发。如今,MOSS成为国内首个公开亮相的类ChatGPT语言模型,“端到端”走通了大语言模型的开发全程。

MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助ChatGPT逐步理解各种指令。复旦团队则采用不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。

邱锡鹏坦言:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”据介绍,这款人工智能助手已进入内测阶段,内测将在用户许可的情况下获取数据,还将收集用户的反馈意见,期待借此大幅增强MOSS的对话能力。

实测对话、编程等多种能力

MOSS回答问题的水平如何?以下为中文提问MOSS的几个问题。

“一些人觉得,人工智能将取代很多人的工作,你觉得呢?”MOSS回答:“我认为人工智能不会完全取代人类,而是在一定程度上帮助人们完成工作。例如,机器可以提高数据分析、决策制定等过程中的效率,并可以节省大量时间和精力。此外,AI也可以用来协助人类完成更复杂的任务,比如诊断疾病、开发新产品等。总之,AI可以使人类的工作更加高效,但它不会完全取代人类。”

86659e4e-b1f9-11ed-bfe3-dac502259ad0.png

“对于上海如何更好地发展人工智能产业,你有什么建议?”MOSS回答:“我认为上海可以通过以下方式来更好地发展人工智能产业:1.加强人工智能领域的研发,支持学术研究,促进科学发展;2.加强行业资源整合,推动人工智能产业的发展;3.加强人工智能相关产品的研发,提高产品的竞争力;4.加强人工智能产业的投资,促进投资者的参与;5.加强人工智能产业的法律法规,保障人工智能产业的健康发展。”

867c8564-b1f9-11ed-bfe3-dac502259ad0.png

可以看出,MOSS的回答语言流畅、逻辑清晰且观点正确。但科研团队也坦诚指出,当前版本的MOSS表现不够稳定,有些回答存在事实差错或逻辑不顺。“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”

科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。

“告诉我5部科幻电影。”“生成一张展示这5部电影和导演的表格。”“增加一列表格,显示这些电影上映的时间。”在这个包含表格生成的多轮交互中,MOSS顺利完成了任务。

869e2354-b1f9-11ed-bfe3-dac502259ad0.png

与ChatGPT一样,MOSS也有代码生成和解释能力。演示人员要求它生成一段Python代码来实现快速排序,MOSS很快完成了任务。

86ccb5ac-b1f9-11ed-bfe3-dac502259ad0.png

MOSS还有伦理判断和法律知识。比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出有价值观的回答。

86e77be4-b1f9-11ed-bfe3-dac502259ad0.png

8707e6d6-b1f9-11ed-bfe3-dac502259ad0.png

开源降低中小企业研发门槛

进入内测阶段后,用户可以通过MOSS网站(https://moss.fastnlp.top/) 申请内测。科研团队期待通过内测获取对话数据,以提升MOSS的多方面能力。

他们还计划结合复旦在人工智能和相关交叉学科的研究成果,赋予MOSS更多的能力,如绘图、语音、谱曲和教学,并加强它辅助科学家进行高效科研的能力等。

目前,MOSS的最大短板是中文水平不够高,主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。为此,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。科研团队相信,这将有效提升模型的中文对话能力。

未来,科研团队将通过开源方式分享这项工作的成果,促进学术界和产业界对预训练语言模型的分析与研发。预训练大语言模型的研发门槛很高,需要大量算力、训练语料和人工标注。在我国产业界,只有大型机构才有实力开发大模型。MOSS开源后,可有效降低预训练语言模型的研发和应用门槛,让中小企业在其基础上开发出智能客服、智能家居、人工智能律师等各种垂直类产品。

“MOSS的计算量相对不那么大,中小企业都能用起来。”邱锡鹏说,“期待复旦团队和上海人工智能实验室继续合作,通过MOSS以及后续的研究探索,推动AI普惠,尽快赋能国内的人工智能产业。”

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47244

    浏览量

    238364
  • 语言模型
    +关注

    关注

    0

    文章

    523

    浏览量

    10273
  • ChatGPT
    +关注

    关注

    29

    文章

    1560

    浏览量

    7624

原文标题:复旦邱锡鹏团队发布国内首个类ChatGPT模型MOSS,邀公众参与内测

文章出处:【微信号:robotmagazine,微信公众号:机器人技术与应用】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    阶跃星辰发布国内首个千亿参数端到端语音大模型

    近日,阶跃星辰在官方公众号上宣布了一项重大突破——推出Step-1o千亿参数端到端语音大模型。该模型被誉为“国内首个千亿参数端到端语音大模型
    的头像 发表于 12-17 13:43 166次阅读

    模型LLM与ChatGPT的技术原理

    在人工智能领域,大模型(Large Language Model, LLM)和ChatGPT等自然语言处理技术(Natural Language Processing, NLP)正逐步改变着人类
    的头像 发表于 07-10 10:38 823次阅读

    llm模型chatGPT的区别

    LLM(Large Language Model)是指大型语言模型,它们是一使用深度学习技术构建的自然语言处理(NLP)模型。LLM模型可以处理各种语言任务,如文本生成、文本分类、机
    的头像 发表于 07-09 09:55 1054次阅读

    斯坦福团队抄袭国产大模型,主要责任人失联

    电子发烧友网报道(文/吴子)近日,斯坦福大学AI团队主导的Llama3-V开源模型被证实套壳抄袭国内清华与面壁智能的开源模型“小钢炮”Mi
    的头像 发表于 06-05 00:10 2586次阅读

    名单公布!【书籍评测活动NO.34】大语言模型应用指南:以ChatGPT为起点,从入门到精通的AI实践教程

    联系,视为放弃本次试用评测资格! 2018 年,OpenAI 发布首个大语言模型——GPT,这标志着大语言模型革命的开始。这场革命在 2022 年 11 月迎来了一个重要的时刻——O
    发表于 06-03 11:39

    ChatGPT-4 API 密钥:官方申请指南及国内直连使用攻略

    API Key: 访问 OpenAI 官方网站。 寻找 API 部分并选择 「获取 API Key 」 选项。 二、配置 ChatGPT 4.0 API ChatGPT 4.0 API 是可在国内直接
    的头像 发表于 05-29 17:08 6456次阅读
    <b class='flag-5'>ChatGPT</b>-4 API 密钥:官方申请指南及<b class='flag-5'>国内</b>直连使用攻略

    汽车发布国内首个量产上车的端到端大模型

    汽车近日宣布,国内首个端到端大模型量产上车,这一革命性的技术将大幅提升智能驾驶的能力。据小汽车介绍,这一大
    的头像 发表于 05-28 11:47 708次阅读

    入选亿欧大模型基础层图谱,以优质数据赋能AGI智能涌现

    上海2024年5月27日 /美通社/ -- 自ChatGPT发布引发全球范围内对大模型的广泛关注以来,目前,国内公布的大模型数量已超过30
    的头像 发表于 05-27 17:01 357次阅读
    澳<b class='flag-5'>鹏</b>入选亿欧大<b class='flag-5'>模型</b>基础层图谱,以优质数据赋能AGI智能涌现

    OpenAI 深夜抛出王炸 “ChatGPT- 4o”, “她” 来了

    当地时间5月13日OpenAI推出ChatGPT-4o,代表了人工智能向前迈出的一大步。在GPT-4turbo的强大基础上,这种迭代拥有显著的改进。在发布会的演示中,OpenAI展示该模型的高级
    发表于 05-27 15:43

    汽车发布端到端大模型

    汽车近日宣布,其成功研发并发布了“国内首个量产上车”的端到端大模型,该模型可直接通过传感器输
    的头像 发表于 05-21 15:09 684次阅读

    思必驰参编,国内第一个“汽车大模型标准”正式发布

    4月28日,中国信通院发布了由思必驰等多家单位共同编制的国内首个“汽车大模型标准”,该标准聚焦汽车行业高质量发展,受到央视报道。
    的头像 发表于 04-30 14:49 2202次阅读
    思必驰参编,<b class='flag-5'>国内</b>第一个“汽车大<b class='flag-5'>模型</b>标准”正式<b class='flag-5'>发布</b>

    名单公布!【书籍评测活动NO.30】大规模语言模型:从理论到实践

    来说,应该做什么? 拥抱技术变革,理解产业市场,找到适合自己的位置。 大模型市场可以分为通用大模型和垂直大模型两大类。 大模型的代表ChatGPT
    发表于 03-11 15:16

    华为发布通信行业首个模型

    在近日举行的MWC24巴塞罗那移动通信大会上,华为宣布推出通信行业的首个大型人工智能(AI)模型。这一创新性的模型被命名为“华为通信大模型”,它具备基于角色的Copilots和基于场景
    的头像 发表于 02-27 14:31 820次阅读

    万兴科技发布国内首个音视频多媒体大模型“天幕”

    万兴科技近日正式发布国内首个音视频多媒体大模型——万兴“天幕”,并宣布大模型研发中心将正式落户马栏山。
    的头像 发表于 02-04 11:42 1303次阅读

    幻方量化发布国内首个开源MoE大模型—DeepSeekMoE

    幻方量化旗下组织深度求索发布国内首个开源 MoE 大模型 —— DeepSeekMoE,全新架构,免费商用。
    的头像 发表于 01-23 11:28 1518次阅读
    幻方量化<b class='flag-5'>发布</b>了<b class='flag-5'>国内</b><b class='flag-5'>首个</b>开源MoE大<b class='flag-5'>模型</b>—DeepSeekMoE