0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

商汤日日新多模态大模型权威评测第一

商汤科技SenseTime 来源:商汤科技SenseTime 2024-12-20 10:39 次阅读

刚刚,商汤科技日日新SenseNova多模态大模型,在权威综合评测权威平台OpenCompass的多模态评测中取得榜单第一。

商汤日日新平均得分达到77.4,领先GPT-4o、Claude 3.5 Sonnet以及国内所有不同尺寸的开源和闭源模型,尤其在涵盖算术、统计、代数、几何、数值常识、科学和逻辑的权威数据集MathVista维度上,取得78.4分的最高分,展现了领先的“数理”能力。

OpenCompass 多模态评测包含八个核心数据集,从多种视角客观量化多模态大模型的能力。此次评测中,商汤日日新在几乎所有维度上都达到或超过GPT-4o水平,其中四个维度上(MMStar、MathVista、OCRBench、MMVet)排名全球第一。

OpenCompass大模型开放评测体系是上海人工智能实验室推出的,拥有完整开源可复现的评测框架,定期发布对各类大模型的评测成绩和排名。体系覆盖了语言与理解、常识与逻辑推理、数学计算与应用、多编程语言代码能力、智能体、创作与对话等多个方面,是对大模型真实能力各个维度的全面诊断。

小试牛刀,商汤多模态进阶

作为计算机视觉领域的先行者和领军企业,早在几年前,商汤就确定了多模态大模型的研究方向,并在研发中,融合积累的领先算法、丰富数据和场景认知建立起核心优势。

2023年4月,商汤率先发布了行业领先的多模态大模型;

2024年2月,基于商汤日日新4.0的多模态大模型,在当时权威评测基准测试集MME Benchmark上位列第一,综合得分达2199.5(超过GPT-4V的1926.57),并应用到智能驾驶、智能车舱、电力行业等多个场景;

2024年7 月,商汤发布国内首个交互体验上对标GPT-4o的大模型——日日新 5o,实现无延时的实时流式交互。

全新阶段,跨模态深度融合

今年三季度以来,商汤已跨越初期探索,进入了多模态大模型的研发新阶段——实现跨模态深度融合。以此目标,商汤打造了全新原生多模态大模型——日日新SenseNova多模态大模型。

跨模态深度融合指能够跨越不同模态(自然语言、代码、语音、图像、医疗影像、视频等)之间的鸿沟,充分利用不同模态的信息,通过跨模态逆渲染、多模态思维链等技术创新,实现数据之间的集成和交互。由此,模型的感知和理解能力将得到极大增强,并支持多模态融合推理的实现。

跨模态融合有多种方法。例如,通过融合预训练以及后训练技术,商汤日日新多模态大模型大幅增强了数理逻辑和推理能力。

评测中,当我们从“五年高考,三年模拟”里随机抽取几道高考数学题,日日新多模态大模型都可以轻松应对。

此外,通过多模态融合并对模型进行定向优化,商汤日日新多模态大模型还大幅提升了对统计图表和多模态文档的理解能力。

评测中,当难度提升,让我们看看结果如何。

商汤日日新成功输出推理结果,效果令人惊叹。

随着融合模态有效提升AI大模型性能,多模态融合未来可广泛应用于诸多场景,例如在线上教育、语音客服等场景,结合语音和自然语言来提升交互体验;在自动驾驶场景,融合视觉及多种模态数据,来提升感知精度和决策能力等。

数理还只是起点。目前,日日新SenseNova多模态大模型已经可以通过API调用,即将开放普通用户体验。

One more thing,商汤日日新多模态大模型还能看懂中国书画。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47244

    浏览量

    238376
  • 商汤科技
    +关注

    关注

    8

    文章

    509

    浏览量

    36088
  • 大模型
    +关注

    关注

    2

    文章

    2439

    浏览量

    2681

原文标题:挑战高考数学完胜!商汤日日新多模态大模型权威评测第一

文章出处:【微信号:SenseTime2017,微信公众号:商汤科技SenseTime】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    商汤日日新模型中标上海电信订单

    近日,中国电信上海公司公布《产数开发代码助手》项目采购结果:凭借「日日新」大模型出色的代码能力,商汤科技中标。由「商汤•小浣熊家族」系列产品团队提供相关业务产品服务支持。
    的头像 发表于 07-29 14:25 540次阅读

    商汤科技推出SenseFoundry-VL方舟模态新智平台

    WAIC 2024期间,基于 “日日新5.5”大模型体系能力,商汤“方舟城市开放平台”进行全新产品架构升级, 推出首个“大模型+城市服务”的解决方案及应用实践「SenseFoundry
    的头像 发表于 07-12 14:15 585次阅读
    <b class='flag-5'>商汤</b>科技推出SenseFoundry-VL方舟<b class='flag-5'>多</b><b class='flag-5'>模态</b>新智平台

    商汤科技&quot;日日新SenseNova 5.5&quot;大模型闪耀WAIC,引领AI新纪元

    在近期举办的世界人工智能大会(WAIC)上,商汤科技携其流式模态交互大模型日日新SenseNova 5.5”震撼登场,不仅为大会带来了前
    的头像 发表于 07-08 16:05 599次阅读

    商汤日日新”大模型全面赋能2024 WAIC

    7月6日,WAIC 2024迎来第三天。 商汤科技全新升级的「日日新SenseNova 5.5」备受热议,作为国内首个具备流式原生模态交互能力的大
    的头像 发表于 07-08 15:54 625次阅读

    商汤流式模态交互大模型日日新5.5发布

    日日新」大模型迎来“灯塔时刻”,它能见你所见,理解你所需,说出你心声,与你智慧共振。
    的头像 发表于 07-08 15:10 591次阅读
    <b class='flag-5'>商汤</b>流式<b class='flag-5'>多</b><b class='flag-5'>模态</b>交互大<b class='flag-5'>模型</b><b class='flag-5'>日日新</b>5.5发布

    商汤科技发布日日新5.5大模型体系

    商汤科技近日震撼发布其最新的日日新5.5大模型体系,标志着人工智能领域又迈出了坚实的步。该体系以6000亿参数的超大规模基础模型——
    的头像 发表于 07-08 15:05 565次阅读

    商汤发布日日新模型5.0粤语版

    近日,人工智能领军企业商汤科技正式对外发布了其最新研发成果——日日新模型5.0粤语版。该模型针对粤语用户进行了深度优化,旨在提供更精准、更高效的自然语言处理服务。
    的头像 发表于 05-30 09:21 628次阅读

    中文大模型测评基准SuperCLUE:商汤日日新5.0,刷新国内最好成绩

    日前,中文大模型测评基准SuperCLUE发布最新榜单,对商汤科技全新升级「日日新SenseNova 5.0」大模型进行了全方位综合性测评,结果显示在SuperCLUE综合基准上,
    的头像 发表于 05-21 14:45 748次阅读
    中文大<b class='flag-5'>模型</b>测评基准SuperCLUE:<b class='flag-5'>商汤</b><b class='flag-5'>日日新</b>5.0,刷新国内最好成绩

    商汤科技即将推出日日新模型5.0粤语版本

    在盛大的“新质企业家联合会”成立典礼上,商汤科技副总裁、智慧城市与商业事业群总裁张果琲宣布了项重要消息。商汤科技即将推出日日新模型5.0
    的头像 发表于 05-13 10:58 589次阅读

    商汤将发布日日新模型5.0粤语版本

    商汤科技即将迎来项重要更新,他们将发布日日新模型5.0的粤语版本。这版本是基于商汤科技现有
    的头像 发表于 05-08 09:33 496次阅读

    商汤科技发布“日日新SenseNova 5.0”大模型

    商汤科技近日隆重推出全新升级的“日日新SenseNova 5.0”大模型,其卓越性能赢得了业界的广泛赞誉。凭借这行业领先的技术实力,商汤
    的头像 发表于 05-07 14:13 560次阅读

    商汤科技联合海通证券发布业内首个面向金融行业的模态全栈式大模型

    4月23日,商汤科技正式推出“日日新SenseNova 5.0”大模型体系,并与海通证券联合发布业内首个面向金融行业的模态全栈式大
    的头像 发表于 04-26 09:48 469次阅读
    <b class='flag-5'>商汤</b>科技联合海通证券发布业内首个面向金融行业的<b class='flag-5'>多</b><b class='flag-5'>模态</b>全栈式大<b class='flag-5'>模型</b>

    商汤科技发布5.0模态模型,综合能力全面对标GPT-4 Turbo

    场景应用需求;升级“日日新SenseNova 5.0”大模型体系,综合能力全面对标GPT-4 Turbo。 此外对于文生视频徐立也表示商汤科技很快就会发布相关的平台产品。 备受瞩目的商汤
    的头像 发表于 04-24 16:49 1104次阅读

    商汤日日新SensNova 4.0发布

    商汤科技“日日新SenseNova 4.0”正式发布,标志着大模型体系的次重大飞跃。该模型在知识覆盖、推理能力、长文本理解、数字推理以及代
    的头像 发表于 02-05 10:29 915次阅读

    商汤科技发布新版日日新·商量大语言模型

    商汤科技近日发布了新版的日日新·商量大语言模型-通用版本(SenseChat V4)。这版本的模型在知识理解、阅读理解、综合推理、数理、代
    的头像 发表于 02-04 10:30 962次阅读