0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

昆仑万维开源2千亿稀疏大模型Skywork-MoE

CHANBAEK 来源:网络整理 2024-06-04 14:44 次阅读

近日,昆仑万维公司宣布开源一款名为Skywork-MoE的稀疏大模型,该模型拥有高达2千亿参数,不仅性能强劲,而且推理成本更低,为人工智能领域带来了新的突破。

Skywork-MoE基于昆仑万维之前开源的Skywork-13B模型进行扩展,是首个完整应用并落地的开源千亿MoE大模型。MoE(Mixture of Experts)技术在此模型中得到了充分的应用,使得模型在处理复杂任务时能够更加高效和准确。

值得一提的是,Skywork-MoE还是首个支持用单台4090服务器推理的开源千亿MoE大模型。这一特性极大地降低了模型的使用门槛,使得更多的企业和研究机构能够轻松地使用这一强大的模型进行研究和应用。

昆仑万维公司表示,Skywork-MoE的模型权重和技术报告将完全开源,并免费提供给商业使用。这一举措将极大地推动人工智能领域的发展,为更多的企业和研究机构提供强大的技术支持和合作机会。

Skywork-MoE的开源不仅展示了昆仑万维公司在人工智能领域的技术实力,也体现了公司对于推动行业发展的坚定承诺。未来,我们期待看到更多基于Skywork-MoE的优秀应用和研究成果的出现。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47240

    浏览量

    238355
  • 开源
    +关注

    关注

    3

    文章

    3334

    浏览量

    42482
  • 大模型
    +关注

    关注

    2

    文章

    2438

    浏览量

    2669
  • 昆仑万维
    +关注

    关注

    0

    文章

    17

    浏览量

    14
收藏 人收藏

    评论

    相关推荐

    昆仑万维推出“天工大模型4.0”o1版(Skywork o1)邀请测试

    近日,昆仑万维正式向外界推出了其最新研发的“天工大模型4.0”o1版(Skywork o1)。该系列模型以其独特的复杂思考推理能力,吸引了众
    的头像 发表于 11-28 10:33 281次阅读

    昆仑万维实时语音对话助手Skyo即将上线

    近日,昆仑万维正式向公众介绍了其最新研发成果——“天工大模型4.0”4o版(Skywork 4o)以及备受瞩目的新产品“实时语音对话助手Skyo”。 Skyo作为一款智能语音互动产品,
    的头像 发表于 11-21 13:38 297次阅读

    昆仑万维天工大模型4.0 O1版即将邀测

    昆仑万维公司近日宣布,其自主研发的天工大模型4.0 O1版(英文名:Skywork O1)将于11月27日正式启动邀请测试。这款模型是国内首
    的头像 发表于 11-19 17:24 517次阅读

    昆仑万维天工AI发布升级版AI高级搜索功能

    昆仑万维公司近期正式推出了天工AI的最新版本,其中重点升级了AI高级搜索功能。这一新功能旨在满足用户在复杂问题解决、金融投资、科研学术以及文档分析等多个领域的多样化需求。 据了解,天工AI的高级搜索
    的头像 发表于 11-07 10:47 479次阅读

    腾讯发布开源MoE大语言模型Hunyuan-Large

    近日,腾讯公司宣布成功推出业界领先的开源MoE(Mixture of Experts,专家混合)大语言模型——Hunyuan-Large。这款模型不仅在参数量上刷新了业界纪录,更在效果
    的头像 发表于 11-06 10:57 300次阅读

    昆仑万维发布全球首个AI流媒体音乐平台Melodio

    昆仑万维在科技创新领域再次迈出重要一步,正式推出了全球首个AI流媒体音乐平台——Melodio,以及配套的AI音乐商用创作平台Mureka。这两款创新产品的问世,标志着音乐产业正式迈入AI驱动的新时代。
    的头像 发表于 08-14 17:44 842次阅读

    中国电信与昆仑万维等联合发布星辰MaaS平台

    在近日于福州举办的第七届数字中国建设峰会智算云生态大会高峰william hill官网 上,中国电信携手昆仑万维等合作伙伴,共同推出了星辰MaaS平台(Model as a Service,模型即服务)。该平台为行业客户提供
    的头像 发表于 06-07 09:18 1114次阅读

    Opera浏览器引领潮流,全球首接端侧AI大模型

    昆仑万维旗下海外平台Opera宣布,其旗舰浏览器Opera One和游戏浏览器Opera GX将正式接入端侧AI大模型,成为全球首个实现这一突破的主流浏览器。
    的头像 发表于 06-03 09:18 736次阅读

    昆仑万维天工AI日活用户超过100

    昆仑万维集团近日宣布,旗下天工AI的每日活跃用户(DAU)已突破百万大关,标志着其在人工智能领域的强大影响力和用户基础。天工AI智能体平台汇聚了近百万个用户生成内容(UGC)智能体,为用户提供了丰富多样的AI应用体验。
    的头像 发表于 05-28 09:16 627次阅读

    通义千问开源千亿级参数模型

    通义千问近日开源了其首个千亿级参数模型Qwen1.5-110B,这是其全系列中首个达到千亿级别的开源模型
    的头像 发表于 05-08 11:01 749次阅读

    昆仑万维天工3.0大模型性能显著提升,天工SkyMusic音乐模型亮相

    天工3.0拥有4000亿参数,超越Grok-1的3140亿参数,成为全球最大的开源MoE模型。该模型在语义理解、逻辑推理、通用性、泛化性、不确定性知识以及学习能力等方面均有显著提升,
    的头像 发表于 04-17 16:05 616次阅读

    昆仑万维天工大模型3.0将于4月17日公测,参数量高达4000亿

    对比前代“天工 2.0”MoE模型,“天工 3.0”展现出在模型语义理解、逻辑推理方面的“惊人”实力提升,以及在通用性、泛化性、不确定性知识和学习能力等多个领域的进步。
    的头像 发表于 04-02 10:10 864次阅读

    昆仑万维旗下Opera将推出全球首款非WebKit内核的iOS浏览器

    近日,昆仑万维旗下的国际知名浏览器品牌Opera宣布,将针对欧洲的iPhone和iPad用户推出一款全新的AI浏览器——Opera One。这款浏览器最大的亮点在于,它基于Opera自研的引擎,而非通常的WebKit内核,这在全球iOS浏览器市场上尚属首例。
    的头像 发表于 02-06 16:40 5730次阅读

    昆仑万维发布新版MoE大语言模型天工2.0

    昆仑万维科技今日震撼发布全新升级的「天工2.0」MoE大语言模型以及配套的新版「天工AI智能助手」APP。此次更新标志着国内首个搭载MoE
    的头像 发表于 02-06 16:19 1265次阅读

    幻方量化发布了国内首个开源MoE模型—DeepSeekMoE

    幻方量化旗下组织深度求索发布了国内首个开源 MoE模型 —— DeepSeekMoE,全新架构,免费商用。
    的头像 发表于 01-23 11:28 1518次阅读
    幻方量化发布了国内首个<b class='flag-5'>开源</b><b class='flag-5'>MoE</b>大<b class='flag-5'>模型</b>—DeepSeekMoE