0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI如何在数以百亿的MCU嵌入式应用中落地?

海思技术有限公司 来源:上海海思 2023-12-12 15:53 次阅读

AI如何在数以百亿的MCU嵌入式应用中落地?海思正在给出自己的答案。海思A²MCU聚焦行业专用(Application Specific)嵌入式AI技术(Artificial Intelligence),将AI领域超轻量级的技术框架、极致性能的推理要求、方便快速的部署能力与MCU深度融合,为MCU行业客户探索智能化应用提供新的选择。在TCL小蓝翼P7新风空调发布会上,海思与TCL空调联合发布“A²MCU,让空调越用越节能”解决方案,正是A²MCU的初露锋芒。

01714434-98c3-11ee-8b88-92fbcf53809c.jpg

为什么嵌入式AI关注度越来越高?

嵌入式AI是将AI算法嵌入到端侧设备中,使得设备能够具备智能化、自动化和高效化的能力。AI的历史可以追溯到20世纪50年代,进入21世纪,受益于算力的迅猛提升,以及大数据、云计算深度学习等技术发展,人工智能在图像识别、语音识别、自然语言处理、机器人、自动驾驶等领域取得了突破性的进展。随着应用的拓展和渗透,端侧AI近几年逐渐成为业界热点。相对于数百万到千万的AI服务器,端侧AI MCU的数量级将高达数以百亿。基于现有的AI范式,由于资源的限制、模型的适应性等因素,AI越向下越难做,但同时AI下沉带来的商业潜力也很大。因此将AI技术嵌入到端侧最底层的MCU芯片,已成为业界领先MCU企业都在探索的新方向。

基于MCU的AI方案在行业落地,会有哪些困难?

由于MCU硬件性能限制、AI软件的复杂度高、行业应用实时性要求高、能耗限制严格、数据安全性要求高,嵌入式AI在MCU的行业应用落地需要业务团队同时具备丰富的AI知识经验,以及嵌入式软硬件能力。

一方面要开发团队与落地场景之间要展开深度合作。基于真实场景的基础数据及嵌入式AI团队提供的专业的定制化方案,才能真正解决问题,做出价值。

另一方面要能够实现AI模型到MCU的快速部署。通用AI模型往往并不是针对嵌入式应用设计,AI开发工具品类又非常庞杂,而MCU的RAM、Flash资源及CPU算力通常都非常受限,如何选择合适的AI模型和开发工具用来开发出解决特定场景问题模型,又如何将AI模型部署到受限资源的MCU上,这是一个复杂的工程。

海思A²MCU嵌入式AI通过哪些关键技术解决了这些问题?

海思嵌入式AI提供了超轻量级的AI技术框架、极致性能完全满足MCU的推理要求、并能够将多模型快速转换为代码并导入工程,开发者进行方便快速的产品部署。

1)极简框架:在MCU上部署的AI模型,转为网络层的运行代码后,直接调用RISC-V核的优化算子库,省去了模型解析器等一般复杂的框架。RISC-V的开源架构支持自定义指令集,能够更好的支持算子库的优化实现,这也是RISC-V相对于其他内核的一个关键优势。

01815d56-98c3-11ee-8b88-92fbcf53809c.jpg

2)极致性能:意味着在确保场景收益的前提下,将训练推理过程做到极简。包括但不限于:训练模型优化:包括模型结构优化,减少内存读写和计算量;模型训练后量化,使模型更小,推理更快。算子的轻量化、内存优化以及深度性能调优:通过算子库轻量化、算子数据预重排与内存复用、使用算法减少乘法运算次数与内存访问的开销、深度算法调优减少运算次数,与访存开销进行平衡。

018894ae-98c3-11ee-8b88-92fbcf53809c.png

模型剪枝、压缩的轻量化

019322f2-98c3-11ee-8b88-92fbcf53809c.png

训练后量化,模型更小,推理更快

3)易开发部署:海思A²MCU嵌入式AI方案可提供多种模型的转换,例如通过TensorFlow Lite、PyTorch、MindSpore等开发的模型,可快速便捷的转成代码,并导入部署到工程代码中。

019a0810-98c3-11ee-8b88-92fbcf53809c.png

海思A²MCU嵌入式AI应用效果如何?

12月10日,在TCL小蓝翼P7新风空调发布会上,海思与TCL空调联合发布了“A²MCU,让空调越用越节能”解决方案,该方案基于空调环境、运行和目标参数,通过嵌入式AI算法对复杂工况进行学习,提高运行周期内的整体能效。通过业务场景和AI强化学习模型的深度融合,给空调产品的节能带来代级的差异化竞争力,最终达成调温阶段能耗降低16%的效果。

01a51962-98c3-11ee-8b88-92fbcf53809c.jpg

结语

万物智能时代,我们既需要云端大算力的训练推理,也离不开嵌入式AI在千行百业的端侧普惠应用。相对而言AI服务器的体量是百万~千万数量级,而小算力的MCU则是数百亿数量级,嵌入式AI在绿色节能、人机交互、故障预测、安全防护等行业显示出巨大的潜力。

在嵌入式AI技术中,AI和MCU的关系是相互促进、共同发展的,而嵌入式AI的难度也恰恰来自AI与MCU两个技术分方向的跨界与结合。海思在AI和MCU领域都有近十年的积累和丰富应用经验,致力于将以往经验和技术积累应用于小算力AI场景,和行业伙伴一起联合创新、创造增量价值。







审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    146

    文章

    17141

    浏览量

    351091
  • 嵌入式
    +关注

    关注

    5082

    文章

    19117

    浏览量

    304957
  • RISC-V
    +关注

    关注

    45

    文章

    2275

    浏览量

    46142
收藏 人收藏

    评论

    相关推荐

    AMD分析嵌入式边缘AI的发展

    随着人工智能( AI )技术广泛应用于各行各业,从云到边缘的解决方案逐渐成为信息技术领域新的热点。嵌入式边缘 AI 在当今的各种边缘应用中能够大幅提升作业人员的生产力,带动整个 AI
    的头像 发表于 09-18 09:30 316次阅读
    AMD分析<b class='flag-5'>嵌入式</b>边缘<b class='flag-5'>AI</b>的发展

    嵌入式系统的未来趋势有哪些?

    嵌入式系统是指将我们的操作系统和功能软件集成于计算机硬件系统之中,形成一个专用的计算机系统。那么嵌入式系统的未来趋势有哪些呢? 1. 人工智能与机器学习的整合 随着现代人工智能(AI)和机器学习
    发表于 09-12 15:42

    恩智浦加速嵌入式AI创新应用开发

    AI应用飞速发展的今天,如何能够将AI嵌入式系统开发有机结合起来,营造新的开发生态,打造与众不同的创新用例,一直是嵌入式开发者追求的目标。
    的头像 发表于 08-27 09:46 830次阅读

    RT-Thread出席第六届中国嵌入式技术大会,共话嵌入式操作系统与智能工业

    第六届中国嵌入式技术大会将于8月27-28日在深圳会展中心(福田)1号馆举行。本届大会以“AI与开源,开启嵌入式系统智能新时代”为主题,聚焦人工智能与嵌入式应用、
    的头像 发表于 08-03 08:35 403次阅读
    RT-Thread出席第六届中国<b class='flag-5'>嵌入式</b>技术大会,共话<b class='flag-5'>嵌入式</b>操作系统与智能工业

    嵌入式软件开发与AI整合

    嵌入式软件开发与AI整合是当前技术发展的重要趋势之一。随着人工智能技术的快速发展,嵌入式系统越来越多地集成了AI算法,以实现更复杂的智能功能。以下是关于
    的头像 发表于 07-31 09:25 703次阅读
    <b class='flag-5'>嵌入式</b>软件开发与<b class='flag-5'>AI</b>整合

    极海半导体亮相2024全球MCU嵌入式生态发展大会

    7月25日,由AspenCore主办的2024全球MCU嵌入式生态发展大会,在深圳罗湖君悦酒店如期举行。此次大会为来自消费电子、家电、工业控制、通信网络、新能源汽车、物联网领域、储能领域的OEM厂商和嵌入式方案集成商代表带来
    的头像 发表于 07-26 15:18 784次阅读

    MCU如何实现AI功能

    MCU也开始能够执行一些基本的机器学习(ML)和AI任务,特别是通过优化算法、使用简化模型(如量化神经网络)以及嵌入式优化库来实现。
    的头像 发表于 07-19 11:51 894次阅读

    EVASH Ultra EEPROM:助力ChatGPT等AI应用的嵌入式存储解决方案

    EVASH Ultra EEPROM:助力ChatGPT等AI应用的嵌入式存储解决方案
    的头像 发表于 06-26 18:13 906次阅读

    第六届中国嵌入式技术大会:AI嵌入式应用、RISC-V生态、嵌入式操作系统与智能工业

    中国嵌入式技术大会作为elexcon深圳国际电子展同期会议之一,已经成功举办了五届。今年8月将继续与您见证全球嵌入式技术进展与落地成果!科技进步是经济繁荣的引擎,从移动互联网普及,到现在的电动智能
    的头像 发表于 06-04 08:37 635次阅读
    第六届中国<b class='flag-5'>嵌入式</b>技术大会:<b class='flag-5'>AI</b>与<b class='flag-5'>嵌入式</b>应用、RISC-V生态、<b class='flag-5'>嵌入式</b>操作系统与智能工业

    AI引爆边缘计算变革,塑造嵌入式产业新未来AI引爆边缘计算变革,塑造嵌入式产业新未来——2024研华嵌入式

    中国北京,2024年5月30日 - 2024年研华嵌入式产业合作伙伴会议在北京·中关村皇冠假日酒店成功举办,现场参会嘉宾逾300人。会议以“AI引爆边缘计算变革,塑造嵌入式产业新未来”为主题展开
    发表于 05-31 13:53 316次阅读
    <b class='flag-5'>AI</b>引爆边缘计算变革,塑造<b class='flag-5'>嵌入式</b>产业新未来<b class='flag-5'>AI</b>引爆边缘计算变革,塑造<b class='flag-5'>嵌入式</b>产业新未来——2024研华<b class='flag-5'>嵌入式</b>

    AMD Versal SoC刷新边缘AI性能,单芯片方案驱动嵌入式系统

    与后处理集成于单器件中,能够为 AI 驱动型嵌入式系统提供端到端加速。 AI驱动型嵌入式系统的三个阶段 在嵌入式系统
    的头像 发表于 04-11 09:06 3734次阅读
    AMD Versal SoC刷新边缘<b class='flag-5'>AI</b>性能,单芯片方案驱动<b class='flag-5'>嵌入式</b>系统

    AMD Versal SoC全新升级边缘AI性能,单芯片方案驱动嵌入式系统

    与后处理集成于单器件中,能够为 AI 驱动型嵌入式系统提供端到端加速。   AI驱动型嵌入式系统的三个阶段 在嵌入式
    的头像 发表于 04-09 21:32 1074次阅读
    AMD Versal SoC全新升级边缘<b class='flag-5'>AI</b>性能,单芯片方案驱动<b class='flag-5'>嵌入式</b>系统

    嵌入式人工智能的就业方向有哪些?

    。 国内外科技巨头纷纷争先入局,在微软、谷歌、苹果、脸书等积极布局人工智能的同时,国内的BAT、华为、小米等科技公司也相继切入到嵌入式人工智能的赛道。那么嵌入式AI可就业的方向有哪些呢? 嵌入
    发表于 02-26 10:17

    嵌入式设备里SOC与MCU的区别是什么?

    嵌入式设备里SOC与MCU的区别是什么?
    发表于 02-02 07:37

    海思披露了公司聚焦行业专用和嵌入式AI技术的A²MCU

    在12月中,上海海思披露了公司聚焦行业专用(Application Specific)和嵌入式AI技术(Artificial Intelligence)的A²MCU
    的头像 发表于 01-04 10:04 1235次阅读
    海思披露了公司聚焦行业专用和<b class='flag-5'>嵌入式</b><b class='flag-5'>AI</b>技术的A²<b class='flag-5'>MCU</b>