0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Arm成功将Arm KleidiAI软件库集成到腾讯自研的Angel 机器学习框架

Arm社区 来源:Arm社区 2024-11-24 15:33 次阅读

Arm 与腾讯携手合作,成功将 Arm KleidiAI 软件库集成到腾讯自研的 Angel 机器学习框架。

借助 KleidiAI 解锁卓越性能、能效和可移植性,腾讯混元大模型能够实现更快、更高效的 AI 性能,显著提升应用功能和用户体验,并加速未来 CPU 架构的创新与集成。

在 Arm Tech Symposia 深圳年度技术盛会上,Arm 宣布与腾讯合作,成功将 Arm KleidiAI 技术融入腾讯混元自研的 Angel 机器学习框架。这一合作旨在提高移动端人工智能 (AI) 服务的推理性能和效率,为用户提供卓越的端侧 AI 体验。此项技术成果首先落地腾讯旗下的多款应用,预计将惠及腾讯的庞大的用户群体,为他们带来更优质的使用体验。

Angel 机器学习框架的作用

Angel 机器学习框架支持腾讯混元大模型 (LLM),该通用 AI 模型拥有万亿参数,并在超过 7 万亿个词元 (token) 的语料库中进行训练。混元大模型以其强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力,而广受赞誉。该模型已部署于腾讯旗下包括企业微信、QQ 浏览器和和搜狗输入法在内的 700 款应用中。

与此同时,为了满足不断增长的市场需求,并顺应行业发展趋势,腾讯混元大模型推出了更小的参数规模版本,包括 7B、3B、2B 和 1B 版本,并已部署在智能手机、Windows on Arm PC 等消费类设备上。腾讯混元大模型所具备的灵活性使其 AI 功能可以在各种设备上取得,同时提供了一致的性能和用户体验。

AI 性能的显著提升

Arm Kleidi 集成了最新开发者赋能技术和软件库,如 Arm KleidiAI。Arm 致力于将 KleidiAI 直接集成到主流的框架中,让开发者能够自动获取最佳性能,以加速运行于 Arm Cortex-A 和 Neoverse CPU 上的 AI 工作负载。KleidiAI 的集成可帮助开发者加速开发进程,解锁 AI 性能,并在广泛应用的 Arm CPU 提供对未来功能的前向兼容,从而在端侧实现出色的 AI 体验。

KleidiAI 软件库的另一个优势是它们直接嵌入到框架中,而非仅限于特定硬件。这意味着它们带来的性能加速优势可以无缝迁移至不同的生态系统。这种可移植性使腾讯团队能够在包括 Android 和 Windows 在内的所有主流操作系统上测试 KleidiAI。因此,将 KleidiAI 集成至混元 Angel AI 框架中将能为跨操作系统的不同基于 Arm 的设备带来显著的性能提升。

具体来说,混元大模型的预填充部分加速了 100%,而解码器的速度提高了 10%。这些性能改善有助于实现更快、更高效的 AI 操作。

Arm 终端事业部产品管理副总裁 James McNiven 表示:在 AI 时代,为了最大化把握并拓展 AI 机遇,开发者需要最迅捷的 AI 部署方法及最适配其特定工作负载的最优性能。Arm KleidiAI 与腾讯 Angel 机器学习框架的集成彰显了赋能 AI 性能向前迈出了重要一步,与此同时提供优秀的能效表现,双方将发挥各自的优势,为腾讯众多应用场景提供卓越的 AI 体验。

腾讯机器学习平台部总经理,腾讯混元大模型负责人王迪表示:Angel 机器学习框架是我们大模型的技术基础之一,腾讯混元已经构建起了全链路的大模型矩阵和应用平台。同时,腾讯混元不断完善部署生态。我们期待通过集成 Arm KleidiAI 来加速 AI 大模型的创新,支持更多的混元产品矩阵,包括 FP16 加速和稀疏加速,为用户带来更加丰富和高效的端侧 AI 服务。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ARM
    ARM
    +关注

    关注

    134

    文章

    9091

    浏览量

    367470
  • 软件
    +关注

    关注

    69

    文章

    4938

    浏览量

    87443
  • 腾讯
    +关注

    关注

    7

    文章

    1653

    浏览量

    49429
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132604

原文标题:Arm 与腾讯合作,通过 KleidiAI 集成提升混元大模型端侧 AI 性能

文章出处:【微信号:Arm社区,微信公众号:Arm社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    ArmAI芯片,英伟达、MTK联合研发Arm AI PC处理器,算力之战升级

    99%以上的市场;在服务器市场,Arm架构目前占整个市场10%的份额,其中在中国的市场份额已经高达40%;在PC市场,预计2027年,Arm架构占据四分之一的PC市场。   无疑,
    的头像 发表于 05-14 00:14 4376次阅读

    利用Arm Kleidi技术实现PyTorch优化

    PyTorch 是一个广泛应用的开源机器学习 (ML) 。近年来,Arm 与合作伙伴通力协作,持续改进 PyTorch 的推理性能。本文
    的头像 发表于 12-23 09:19 103次阅读
    利用<b class='flag-5'>Arm</b> Kleidi技术实现PyTorch优化

    Arm KleidiAI助力提升PyTorch上LLM推理性能

    热门的深度学习框架尤为突出,许多企业均会选择其作为开发 AI 应用的。通过部署 Arm Kleidi 技术,Arm 正在努力优化 PyTo
    的头像 发表于 12-03 17:05 777次阅读
    <b class='flag-5'>Arm</b> <b class='flag-5'>KleidiAI</b>助力提升PyTorch上LLM推理性能

    腾讯Angel平台荣获世界互联网大会领先科技奖

    近日,世界互联网大会领先科技奖揭晓了其年度获奖名单,腾讯Angel机器学习平台凭借其卓越的技术实力和创新成果,成功荣获本年度领先科技奖。
    的头像 发表于 11-21 13:45 181次阅读

    Arm推出GitHub平台AI工具,简化开发者AI应用开发部署流程

    软件提供了无缝的开发体验。 GitHub Actions、原生 GitHub 运行器和基于 Arm 平台的 AI 框架相结合,帮助全球 2,000 万开发者简化 AI 应用开发部署流程。
    的头像 发表于 10-31 18:51 2037次阅读

    Arm全面设计助力Arm架构生态发展

    ,通过该生态项目,Arm、三星晶圆代工厂 (Samsung Foundry)、ADTechnology 和 Rebellions 正在联手向市场推出人工智能 (AI) CPU 芯粒 (chiplet) 平台,面向云、高性能计算 (HPC) 以及 AI/机器
    的头像 发表于 10-21 09:58 376次阅读

    如何学习ARM

    如何学习ARM? 在开始学习 ARM 处理器之前,先对计算机体系结构有一个基本的了解是很重要的。学习计算机的工作原理、CPU、内存等基础概
    发表于 10-11 10:42

    RISC-V如何支持不同的AI和机器学习框架

    RISC-V如何支持不同的AI和机器学习框架?还请坛友们多多指教一下。
    发表于 10-10 22:24

    Arm KleidiAI软件的功能解析

    推出了 Arm Kleidi,这是一项广泛的软件软件社区参与计划,旨在加速 AI 发展。其中的第一个举措是推出面向热门 AI 框架Arm
    的头像 发表于 09-05 15:41 458次阅读
    <b class='flag-5'>Arm</b> <b class='flag-5'>KleidiAI</b><b class='flag-5'>软件</b><b class='flag-5'>库</b>的功能解析

    采用Arm AE IP产品组合实现SDV功能安全

    Arm 汽车增强 (AE) IP 产品组合。然而,Arm 的功能安全策略不仅仅局限于硬件,还通过提供软件测试 (STL)、工具和编译器等带来全方位的支持。因此,便能助力
    的头像 发表于 09-03 11:47 1561次阅读
    采用<b class='flag-5'>Arm</b> AE IP产品组合实现SDV功能安全

    使用Arm KleidiCV开源加速图像处理性能

    针对 Arm CPU 优化的性能关键型例程的开源。该软件专为集成各种计算机视觉
    的头像 发表于 09-03 11:32 1809次阅读
    使用<b class='flag-5'>Arm</b> KleidiCV开源<b class='flag-5'>库</b>加速图像处理性能

    Arm正式发布针对Cortex-M和Arm Ethos-U处理器的Keil MDK第六版

    如今,嵌入式、物联网 (IoT) 和边缘机器学习 (ML) 应用广泛基于 Arm 平台运行。
    的头像 发表于 05-06 14:04 705次阅读
    <b class='flag-5'>Arm</b>正式发布针对Cortex-M和<b class='flag-5'>Arm</b> Ethos-U处理器的Keil MDK第六版

    谷歌模型框架是什么软件?谷歌模型框架怎么用?

    谷歌模型框架通常指的是谷歌开发的用于机器学习和人工智能的软件框架,其中最著名的是TensorFlow。TensorFlow是一个开源的
    的头像 发表于 03-01 16:25 872次阅读

    学习RISC-V单片机的感想

    RISC-V,以及国内开始的其它架构单片机。国内有些企业的架构,还没有机会学习和使用。期待有机会试试,比如华为的处理器、龙芯等。现在
    发表于 02-17 21:00