0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

PCIe在AI加速器中的作用

新思科技 来源:新思科技 2023-11-18 10:36 次阅读

从线上购物时的“猜你喜欢”、到高等级自动驾驶汽车上的实时交通信息接收,再到在线视频游戏,所有的这些都离不开人工智能(AI)加速器。AI加速器是一种高性能的并行计算设备,旨在高效处理神经网络等AI工作负载并提供近乎实时的处理方案,从而实现一系列应用。

为了让AI加速器有效地完成自己的工作,数据必须要以极快的速度在AI加速器(作为设备)与CPUGPU(主机)之间进行快速且低延时的移动,而实现这一切的关键就在于PCI Express(PCIe)高速接口

PCIe大约每三年更新换代一次,带宽也会随之翻倍,而这正是我们数据驱动的数字世界所需要的。作为PCIe规范的最新版本,PCIe 6.0可提供:

每个引脚64 GT/s的数据传输速率

一种新的低功耗状态,从而实现更低的功耗

经济高效的性能

高性能的完整性和数据加密(IDE)

向后兼容前几代

尽管PCIe过去可能通过PC上的插槽,连接显卡和扫描仪等外围设备,但得益于带宽的不断增加,PCIe的作用现在已远不止于此。本文将详细介绍PCIe如何满足AI加速器的日益增长的要求。

AI无处不在,PCIe也是如此

GlobalData的数据表明,AI正在芯片组领域中迅速普及,预计到2030年,超过40%的芯片组中都将包含AI硬件人工智能(AI)和机器学习(ML)工作负载的复杂性仍在不断增加。事实上,AI和ML训练模型的规模大约每隔几个月就会翻一番。为了确保有效性,AI系统必须能在不牺牲性能或增加延迟的情况下,通过AI开发管道移动大型数据集。不妨看一看下面这些带宽密集型工作负载示例:

4K和8K高清视频 — 需要更多计算能力和内存

高分辨率和高动态范围 — 实现机器视觉和实时感知

多摄像头阵列和4D传感 — 实现深度和运动推理

所有这些趋势都表明,AI加速器的关键在于提供强大的并行计算能力,让语音激活和高等级自动驾驶汽车等应用能够做出近乎实时的响应。这些高性能机器既可以采用超大芯片的形式,例如用于深度学习系统的Cerebras晶圆级引擎(WSE);也可以是GPU、大规模多核标量处理器或空间加速器,通过将数十到数百个芯片组合到一起,打造出具有数百petaFLOPS处理能力的大型系统,用以处理大型神经网络。

838cee98-8534-11ee-939d-92fbcf53809c.png

PCIe发挥着高效的桥梁作用

由于能够处理AI和ML工作负载,AI加速器可以增强数据中心服务器中CPU的处理能力,而PCIe则充当两者之间的桥梁。就其作用而言,PCIe具有以下优势:

最大限度提高芯片到芯片接口的带宽,无论是用于大规模计算阵列中的AI加速器,还是边缘的AI加速器

提供扩展容量,以便在多个主机和多台设备之间移动数据,因为PCIe插槽可以支持各种类型的扩展卡,包括AI加速器

支持通过多线程技术跨多个芯片并行处理工作负载

实现主机和设备之间的通用互操作性,使得能够在系统运行时无缝添加或移除AI加速器卡

提供低功耗PCIe 6.0 L0p模式,能够以更少的通道支持所需的数据流量,从而可以降低功耗,帮助最大限度地减少碳足迹

提供数据保密性、完整性和重发保护功能,确保传输中的数据免受嗅探、篡改、删除、插入或重发数据包攻击

要充分利用这种安全的高速接口,经验证的PCIe物理层(PHY)和具有IDE安全性的控制器IP是关键,而相关的专业知识也对帮助开展相应设计至关重要。功耗和信号完整性方面的考量则突显了专家支持的重要作用。AI加速通常需要许多高速通道。PCIe的多个通道同时切换会产生大量功耗,这使得电源完整性成为一个问题。如果在同时切换过程中出现IR压降等问题,则不利于充分发挥全部性能。信号完整性也很重要,因为系统中在AI加速器和CPU之间传输的信号必须完好无损。新思科技内部拥有功耗和信号完整性方面的专家,他们能够模拟多通道环境,指导开发者在设计芯片时将支持PCIe的PHY放置在合适位置,从而实现最佳性能。

83c3942a-8534-11ee-939d-92fbcf53809c.png

新思科技是PCIe IP和PCIe协议验证解决方案(包括验证IP)的行业领导者,新思科技的PCIe专家也是PCI-SIG联盟(负责编写PCIe总线规范)的主要贡献者。新思科技的PCIe产品组合,以及各种具有向后兼容性的组件,包括:

新思科技PHY IP,通过自适应数字信号处理(DSP算法来优化数字均衡,以跨底板、网络接口卡(NIC)及芯片到芯片通道实现高能效

新思科技控制器IP,具有与新思科技IDE安全IP模块紧密集成的架构,其中包含多个接口,旨在尽可能降低延迟并提高吞吐量

新思科技验证IP,可加速测试平台开发,并且具有内置验证计划、验证序列和功能覆盖范围

用于新思科技ZeBu硬件加速系统和新思科技HAPS原型系统的新思科技协议接口卡、在线和虚拟解决方案,可实现软件驱动的系统验证、性能分析、认证和流片前合规性测试

除了端到端PCIe IP解决方案,新思科技的IP核组合还包括内存、处理器及其他用于AI加速器的接口IP。全栈式AI驱动型电子设计自动化(EDA)套件Synopsys.ai现已搭载能够显著加快专用AI加速器设计的功能。在验证方面,AI SoC需要更快的流片前硬件辅助验证解决方案。新思科技的ZeBu Server 5和HAPS系统提供了超快且容量超大的硬件辅助验证(HAV)系统,有助于完成各种复杂SoC设计的所有系统级验证用例。

PCIe接下来的发展方向如何?

下一代PCIe有望达到速度惊人的2.048TB。随着越来越多的设备和系统融入AI,任何能够满足AI速度需求的创新都是利好消息。对于现今和未来的AI加速器来说,不断发展的PCIe高速接口有望与之携手共进,让日常生活变得更加智能

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30805

    浏览量

    268943
  • 高速接口
    +关注

    关注

    1

    文章

    44

    浏览量

    14774
  • PCIe
    +关注

    关注

    15

    文章

    1236

    浏览量

    82610
  • 新思科技
    +关注

    关注

    5

    文章

    796

    浏览量

    50335

原文标题:AI低延迟应用,怎么缺少PCIe高速接口?

文章出处:【微信号:Synopsys_CN,微信公众号:新思科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    英伟达AI加速器新蓝图:集成硅光子I/O,3D垂直堆叠 DRAM 内存

    冷板。 英伟达给出的模型,每个 AI 加速器复合体包含 4 个 GPU 模块,每个 GPU 模块与 6 个小型 DRAM 内存
    的头像 发表于 12-13 11:37 174次阅读
    英伟达<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>新蓝图:集成硅光子I/O,3D垂直堆叠 DRAM 内存

    从版本控制到全流程支持:揭秘Helix Core如何成为您的创意加速器

    加速器
    龙智DevSecOps
    发布于 :2024年11月26日 13:42:47

    磁调制式电流传感粒子加速器的应用

    粒子加速器是一种利用电磁场加速带电粒子(如质子、电子、离子等)至极高速度的装置。其工作原理基于洛伦兹力定律,即当带电粒子电磁场运动时,会受到垂直于其速度方向的力
    的头像 发表于 11-14 11:43 180次阅读

    SiFive发布MX系列高性能AI加速器IP

    AI技术日新月异的今天,RISC-V IP设计领域的领军企业SiFive再次引领行业潮流,正式推出了其革命性的SiFive Intelligence XM系列高性能AI加速器IP。这
    的头像 发表于 09-24 14:46 354次阅读

    下一代高功能新一代AI加速器(DRP-AI3):10x高级AI系统高级AI更快的嵌入处理

    电子发烧友网站提供《下一代高功能新一代AI加速器(DRP-AI3):10x高级AI系统高级AI
    发表于 08-15 11:06 0次下载
    下一代高功能新一代<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>(DRP-<b class='flag-5'>AI</b>3):10x<b class='flag-5'>在</b>高级<b class='flag-5'>AI</b>系统高级<b class='flag-5'>AI</b><b class='flag-5'>中</b>更快的嵌入处理

    西门子推出Catapult AI NN软件,赋能神经网络加速器设计

    西门子数字化工业软件近日发布了Catapult AI NN软件,这款软件神经网络加速器设计领域迈出了重要一步。Catapult AI NN软件专注于
    的头像 发表于 06-19 11:27 849次阅读

    PCIe载板设计原理图:636-基于FMC的Kintex XCKU060高性能PCIe AD采集板卡 AI加速计卡

    PCIe载板, AD采集板卡, AI加速计算, 3U VPX
    的头像 发表于 06-17 16:29 618次阅读
    <b class='flag-5'>PCIe</b>载板设计原理图:636-基于FMC的Kintex XCKU060高性能<b class='flag-5'>PCIe</b> AD采集板卡 <b class='flag-5'>AI</b><b class='flag-5'>加速</b>计卡

    美国限制向中东AI加速器出口,审查国家安全

    AI加速器能协助数据中心处理大量人工智能聊天机器人和其他工具的开发信息。如今,它们已然成为构建AI基础设施的企业和政府的必需品。
    的头像 发表于 05-31 09:20 584次阅读

    Arm发布新一代Ethos-U AI加速器 Arm旨在瞄准国产CPU市场

    Arm发布的新一代Ethos-U AI加速器确实在业界引起了广泛关注。
    的头像 发表于 04-18 15:59 751次阅读

    Arm推动生成式AI落地边缘!全新Ethos-U85 AI加速器支持Transformer 架构,性能提升四倍

    电子发烧友网报道(文/黄晶晶)嵌入式领域,边缘与端侧AI推理需求不断增长,Arm既有Helium 技术使 CPU 能够执行更多计算密集型的 AI 推理算法,也有Ethos 系列 AI
    的头像 发表于 04-16 09:10 4605次阅读
    Arm推动生成式<b class='flag-5'>AI</b>落地边缘!全新Ethos-U85 <b class='flag-5'>AI</b><b class='flag-5'>加速器</b>支持Transformer 架构,性能提升四倍

    Hitek Systems开发基于PCIe的高性能加速器以满足行业需求

    Hitek Systems 使用开放式 FPGA 堆栈 (OFS) 和 Agilex 7 FPGA,以开发基于最新 PCIe 的高性能加速器 (HiPrAcc),旨在满足网络、计算和高容量存储应用的需求。
    的头像 发表于 03-22 14:02 628次阅读
    Hitek Systems开发基于<b class='flag-5'>PCIe</b>的高性能<b class='flag-5'>加速器</b>以满足行业需求

    家居智能化,推动AI加速器的发展

    电子发烧友网报道(文/黄山明)AI加速芯片,也称为人工智能加速器AI Accelerator),是一种专为执行机器学习和深度学习任务而设计的ASIC或定制化处理
    的头像 发表于 02-23 00:18 4584次阅读

    回旋加速器原理 回旋加速器的影响因素

    回旋加速器(Cyclotron)是一种用于加速带电粒子的可再生粒子加速器。它的工作原理基于带电粒子恒定强磁场的运动。本文将详细介绍回旋
    的头像 发表于 01-30 10:02 3944次阅读

    回旋加速器粒子的最大动能与什么有关

    影响。回旋加速器通常由多个环形磁体和电极组成,这些器件产生的磁场和电场可以加速粒子。回旋加速器的尺寸越大,通常其能够加速粒子的能力也越强。由于粒子是带电的,它们受到磁场和电场力的
    的头像 发表于 01-18 10:42 3172次阅读

    英伟达、AMD2024年继续全力冲刺人工智能加速器市场

    英伟达、AMD2024年继续全力冲刺人工智能(AI加速器市场。
    的头像 发表于 01-08 17:27 1214次阅读
    英伟达、AMD<b class='flag-5'>在</b>2024年继续全力冲刺人工智能<b class='flag-5'>加速器</b>市场