由于人工智能 (AI) 和机器学习 (ML) 的进步,嵌入式系统提供商越来越多地开发大脑芯片,边缘的人工智能 (AI) 使用正在急剧增长。微芯科技股份有限公司与韩国智能硬件 (IHWK) 正在合作开发模拟计算平台,以加速神经技术设备的边缘 AI/ML 推理。
IHWK正在为神经技术设备和现场可编程神经形态设备开发神经形态计算平台。Microchip Technology子公司Silicon Storage Technology(SST)宣布将通过为其SuperFlash memBrain神经形态记忆解决方案提供评估系统来协助该平台的开发。该解决方案基于 Microchip 的非易失性存储器 (NVM) SuperFlash 技术,经过优化,可通过模拟内存计算方法为神经网络执行矢量矩阵乘法 (VMM)。
Sheer Analytics&Insights的一份报告预测,到2028年,全球神经形态计算市场将达到7.8亿美元,在2020年至2028年的预测年份中以50%的年复合年增长率增长。
“神经形态计算技术利用在模拟域内操作关键过程的硬件来模仿大脑过程,”Microchip许可业务部门SST副总裁Mark Reiten说。“模拟域内的操作利用非冯诺依曼架构,以最小的功耗提供人工智能驱动的功能。这是对基于数字硬件和传统冯诺依曼架构的主流人工神经网络的重大改进。数字方法消耗的功率比人脑高出多个数量级,以实现类似的任务。
memBrain技术评估套件使IHWK能够展示其神经形态计算平台在边缘运行推理算法的能效。目标是为生成式 AI 模型、自动驾驶汽车、医疗诊断、语音处理、安全/监控和商用无人机等应用创建超低功耗模拟处理单元 (APU)。
这是两家公司之间的首次合作,合作期限可能长达数年。“IHWK打算使用我们提供的memBrain演示系统来试验设计理念,以便为他们正在评估的边缘计算市场制定上市战略,”Reiten说。
当前用于边缘推理的神经网络模型可能需要 5000 万个或更多的突触(权重)进行处理,这为纯数字神经网络计算所需的片外 DRAM 带来了带宽瓶颈。memBrain 解决方案以超低功耗亚阈值模式将突触权重存储在片上浮栅中,并使用相同的存储单元来执行计算。这提高了电源效率和系统延迟。与传统的数字 DSP 和基于 SRAM/DRAM 的方法相比,它为每个推理决策的功耗降低了 10× 到 20×并显著降低了总体物料清单 (BOM)。
“突触权重作为电导存储在浮栅存储单元中,这意味着该单元用作可编程电阻器,”Reiten解释说。“当在位线上的水平方向向电池施加输入电压并与电池电导相结合时,以电流测量的输出是输入电压(值1)乘以电导(值2)。我们将单词行上许多细胞的输出电流相加,在阵列中形成垂直方向的'神经元'。
IHWK还与大田的韩国科学技术院(KAIST)合作开发用于设备开发的APU,并与首尔延世大学合作开发设备设计协助。最终的APU应优化系统级算法,以便在每瓦20-80 TeraOPS之间运行 - 这是专为电池供电设备设计的内存计算解决方案的最佳性能。
“至于使用该技术的电池寿命,这实际上取决于特定的目标市场,但与同等性能的数字解决方案相比,memBrain技术应该能够将产品的电池寿命延长至少3×”Reiten说。
通过使用NVM而不是片外存储器来执行神经网络计算和存储权重,memBrain技术可以消除与在边缘执行AI处理相关的大量数据通信瓶颈。IHWK正在利用SuperFlash存储器的浮动栅极单元的非易失性来实现低功耗边缘计算设备的新基准,支持使用高级ML模型进行ML推理。
全部0条评论
快来发表一下你的评论吧 !