云计算发展挑战：IPU的架构与技术优势解析

日耳曼神话中，有一种名叫戈兰林(Gremlin)的小精灵。传说这种精灵熟悉各种工具和机械，可以帮助能工巧匠完成种种工作，还可以提升工匠的技术，启迪他们的发明精神。很多时候，工匠们的传统方式方法到达一定瓶颈，就会祈祷小精灵出现，能够帮助他们解决难题。   在我们这个时代，数据中心就是伟大的工匠，肩负着为千行百业打造计算、智能基础设施的重任。当数据重心遇到了工作瓶颈，可能也需要精灵加入到他们的工作中。   近日，英特尔携手百度智能云，发布了《为基础设施提供加速引擎 助力塑造未来数据中心》英特尔IPU平台解决方案白皮书，主要解析了英特尔IPU架构的功能和应用，以及如何与百度智能云通力合作打造其全新DPU架构，帮助云数据中心充分释放算力，全面赋能云服务创新。    

  AI与大数据时代，云数据中心走向计算架构变革成为当务之急。英特尔IPU的发布与实践，可以保持基础设施高性能、高利用率的同时，实现更灵活地资源调配，并使云服务提供商能更快地转向完全虚拟化存储和网络架构，从而极大满足云数据中心的升级需求。   在白皮书当中，我们可以通过云计算中心的发展与挑战-IPU的架构与技术优势解析-英特尔与百度智能云携手进行的实践，三个维度来审视IPU的发展蓝图与价值期待。   数据中心里，小精灵正待起舞。  

云数智变革：数据中心的压力与瓶颈

云时代正在蓬勃发展，全新的技术与产业变革正酝酿在云计算产业中。对于云服务商来说，企业创新应用对云数据中心既有能力提出更高需求。随着 5G、AI、边缘计算等前沿技术在更多行业获得落地应用，企业级云服务出现了许多新的变化与趋势。比如说：   更呈分布式的云服务部署：边缘计算等技术的发展推动着云服务由传统的中心云逐渐向“云边端”协同演进，更多云服务被部署在贴近应用的边缘端；   更为广泛的云服务应用场景：云服务正成为更多行业的 IT 基础设施之一，在智能制造、智慧零售、云游戏等新业态中作为主力，支撑企业的数字化、智能化创新。

在这些变化的推动，云数据中心服务器在管理与应用上面临更多挑战。   例如更多虚拟机（Virtual Machine，VM）的部署使虚拟机管理等管理任务变得更加复杂。同时，其能力输出也逐渐从传统单体式应用向微服务化发展，这也进一步提高了云数据中心管理任务的复杂程度，进而占用大量处理器资源。   既要对虚拟机、微服务等开展高效管理，又要对相关的云数据中心的网络、存储等基础设施实现加速，其中的复杂性和资源开销水平不断增加，传统基础架构已经很难满足未来数据中心要求。   随着微服务模型越来越多地用于云数据中心的应用、存储和网络工作负载。可以预测的是，未来数据中心需要进行以下方面的转型和升级：   1、云原生应用的出现和快速增长推高了对专用基础设施的需求，并大幅提高云服务的敏捷性以及云数据中心的效率。

2、云服务的微服务化，推动了分布式异构计算环境的发展，而每个微服务都应在更适合其的加速节点上运行。

3、微服务模型的广泛采用也催生出数据中心编排系统，使各异构计算服务器之间实现微服务分发的自动化及管理。

4、使用微服务、虚拟机、容器以及容器编排的场景不断增加，推动了服务网格的开发。服务网格能够简化微服务到微服务的通信，并使其更加高效。服务网格已经成为云原生堆栈的标准组成部分。   因此，未来数据中心的架构将更多地面向于微服务且日益分散的应用环境而设计，以此来更好利用异构计算带来的加速处理能力。整体而言，未来数据中心架构需要面向微服务与分散应用环境设计，通过异构计算的方式来使数据中心算力设施各司其职，适应分布式部署的特点和需求，以此来应对云时代的产业升级压力。   这种情况下，IPU的诞生与发展就成为了顺理成章的事情。  

精灵起舞：IPU为数据中心献上时代之变

数据中心在目前阶段必须要完成新的升级与演变，尤其要有新的计算机构出现。未来的数据中心，需要实现大规模分布式异构计算协同工作、无缝连接。尤其是处理基础设施加速的计算单元可以有效负载分担CPU的工作，对于数据中心效率提升至关重要。   2021年，英特尔推出了基础设施处理器(IPU)。作为一种可编程网络设备，英特尔IPU能够助力云和通信服务提供商以及企业提高安全性、节约开销并充分释放中央处理器（CPU）的性能。借助英特尔IPU平台，数据中心可以通过安全、稳定、可编程的解决方案更好地释放计算资源，并实现更高的安全性和隔离性。IPU这个帮助数据中心释放算力的小精灵，可以为云数据中心的微服务创新带来多项优势。

图示：英特尔IPU架构   作为全新的产品形态。英特尔IPU在涵盖智能网卡功能的同时，更能为未来云数据中心带来更高级别的安全性和控制力。其优势包括：   1、减少了主机侧处理器中虚拟机管理程序和基础设施堆栈的开销，使更多的处理器资源可用于应用和租户工作负载。

2、从主机侧处理器中卸载了存储堆栈，从而为应用和租户工作负载释放更多处理器资源。

3、卸载了高密集的基础设施任务，如加密和解密以及数据包处理。

4、在极端情况下，英特尔IPU可以卸载整个虚拟机管理程序，释放 处理器所有内核为应用和微服务提供支持，这对于裸金属服务产品来说至关重要。

5、为裸金属和云主机统一云管控创造了可能。   从技术架构角度思考, 英特尔IPU能够为云数据中心带来一系列发展优势，是因为数据中心能够有效地将网络、存储、安全以及基础设施管理等多种能力从处理器卸载到 英特尔IPU，从而实现算力释放，并加速多种基础设施能力。这些能力包括：   1、网络加速：将承载网络 I/O、数据转发等功能的虚拟交换机软件，如 OVS 等从主机侧处理器卸载到 IPU，提升网络吞吐量，减少网络处理时延。

2、存储加速：将 virtio-blk、NVMe-oF 等存储接口、协议栈从主机侧处理器转移到 IPU，提高存储弹性和灵活性，并降低系统复杂性和开销。

3、安全加速：从主机侧处理器卸载大量加密/解密、压缩和其他安全功能。

4、基础设施处理：将云服务管理功能从主机侧处理器卸载到英特尔 IPU，使虚拟机、容器或裸金属服务的分配和管理更为高效。  

图示：英特尔IPU面向不同基础功能卸载的场景   除了引入性能更强、且具备灵活可编程特性的硬件来面向特定功能进行优化加速，释放更多宝贵算力之外，英特尔也赋予了 IPU 产品丰富的软件生态。目前，英特尔正以加速开发平台(Acceleration Development Platform，ADP)为抓手，通过更优生态系统的构建，助力合作伙伴实现云数据中心性能加速解决方案的快速开发和部署。在规划中，ADP 平台将为用户提供通过英特尔开放式 FPGA 堆栈（英特尔OFS）实现的板卡硬件设计、软件、驱动程序以及技术设计支持。用户可以利用这些软件工具与技术支持，加速 IPU 相关产品的开发，并迅速将产品推向市场。   此外，需要注意的是处理器是数据中心的心脏。将英特尔IPU纳入云数据中心架构，可以有效发挥其与处理器之间的系统能力与平台化价值。通过对接英特尔至强可扩展处理器，英特尔IPU能够有效提升云数据中心算力，充分释放异构算力。   在英特尔为用户提供的高效能云数据中心生态方案中，不仅可以通过 IPU 开展能力卸载，对基础设施进行性能加速，也可以引入英特尔至强可扩展处理器来进一步加强算力。通过对算力的“开源节流”，实现更快的数据处理速度、更大的带宽接入能力以及更低的网络时延。   第三代英特尔至强可扩展处理器能够为服务器带来的性能增强包括：

1、更多的内核、更优的架构带来算力性能的大幅提升，可有效应对高密度计算所需。

2、支持更多内存，支持 PCIe-Gen4，可实现更高的每核 I/O 带宽。

3、多项内置加速技术，如英特尔深度学习加速技术（英特尔DL Boost）等可在人工智能等场景提供强大加速能力。   在算力架构中引入英特尔至强可扩展处理器的另一个优势是能够有效提升能力卸载的效率和平滑性。由于主机侧和 IPU 都采用基于英特尔架构的处理器，就能够非常方便地将主机侧运行应用迁移到 IPU ，甚至无需编译即可迁移，大幅提升开发、部署和测试的效率。   在基于IPU带来的一系列价值之下，云数据中心可以持续迈向微服务创新时代，打通未来数据中心之路。  

助力巧匠：百度智能云的先驱探索

在白皮书中，我们可以看到英特尔IPU与百度智能云的合作案例与行业示范价值。从双方合作中可以看出，百度智能云成功实现了提升服务器效率，提升安全水平，降低算力综合成本等价值。   在云与AI带来的数智化大潮中，云服务持续向各个领域延伸，并承载越来越多核心业务能力。这也导致云计算服务商正面临着需要更强算力资源、更大带宽接入和更低网络时延的挑战。与此同时，云服务品牌也需要从计算架构革新中获得价值，来确保自身的竞争优势。为此，百度智能云提出云智一体战略，大力发展AI云业务。而AI云服务带来的算力需求指数级提升。面向未来的元宇宙等需求，算力释放还将面临更多挑战。   在这一进程中，百度智能云借助英特尔FPGA 与英特尔至强D处理器带来的高效软硬件可编程的加速，首次推出了自研 DPU 设备——百度太行 DPU1.0。其支持太行弹性裸金属服务，包括网络卸载、PCIe 设备热插拔等功能，让云计算的虚拟化开销很大程度沉淀在网卡上，使云产品的性能大大提升。目前，太行 DPU1.0 产品已在太行弹性裸金属等多种云服务场景中开展应用，并获得了用户的良好评价。实践证明，百度自主研发的百度太行 DPU1.0 可以有效解决云数据中心管理及虚拟化的局限性。   百度太行 DPU1.0 产品配备了 2 个 25G 带宽的光口，并引入英特尔的FPGA 与英特尔至强D处理器作为算力核心，来实现了各项虚拟化功能的卸载，在为用户提供弹性网卡、弹性存储能力之余，还支持 1024 个设备的热插拔。同时，通过将云管控平面卸载到百度太行 DPU1.0 中，实现虚拟云主机和裸金属共池，即裸金属可与虚拟云主机被统一灵活调度。来自百度智能云的测试验证表明，百度太行DPU1.0 产品能够为用户提供 1000 万 PPS 的转发率以及 20 万 IOPS 的存储性能。  

  面向未来，DPU 产品也将成为智能云服务的核心组件，助力IaaS资源的统一弹性底座，进而为用户依托百度智能云开展各类业务创新、实施产业智能化转型提供可靠保证。   IPU带来的架构革新，可以从基座层确保算力最大化释放，释放数据中心的核心竞争优势。从2016年开始，“互联网下半场”开始成为被广泛讨论的命题。如今，在规模化竞争进入收尾阶段，技术创新与精细化服务成为主要竞争点的阶段，“云计算下半场”似乎也已经到来。   在这一产业周期，云计算服务商的竞争力不仅在于基础设施性价比，而是要面向客户提供服务创新、技术创新以及综合价值。这种情况下，云计算数据中心的基础架构创新变得至关重要。它既是算力集约化的保障，也是业务创新的基石。   随着英特尔 IPU 以及基于其参考设计研发的相关产品，在云数据中心的基础架构革新中展现出显著性能优势和市场价值，并逐步形成可持续发展的生态链，英特尔与百度智能云等深度合作伙伴也正围绕云服务的未来发展方向，从软硬件层面开拓更多优化方案。

例如通过新的英特尔IPU 平台提供更大网络吞吐量，实现对硬件资源的全面解耦，以及以极低时延实现端到端的加速等。   面向未来，英特尔计划在 IPU 产品体系上持续发力。英特尔在 2022 年推出两款第二代 200 G 的可编程 IPU, 代号分别为“Oak Springs Canyon”和“Mount Evans”。其中Oak Springs Canyon 搭载了英特尔至强D 处理器与英特尔Agilex FPGA 芯片。而Mount Evans 则是英特尔首款基于ASIC 芯片的IPU产品。这两款产品都将具有卸载 200 G工作负载所需的基础设施加速能力，且都可与英特尔至强可扩展处理器协同工作。未来两到三年内，英特尔将推出支持 400 G的 IPU产品，并且再2025年或晚些时候，推出新一代基于 FPGA 芯片和 ASIC 芯片的 800G IPU 产品。   与此同时，英特尔也正进一步背靠丰富的开源软件（如基础架构编程人员开发套件（International Package and Development Kit ，IPDK）、SPDK、DPDK 等），致力于通过开放的生态系统、多方位的行业协作以及积极的社区互动，让百度等云服务提供商、云服务最终用户以及其它合作伙伴能加速 IPU 相关解决方案的构建，从云数据中心基础架构的持续革新中撷取更大价值。   未来数据中心正在加速到来，而IPU正在成为其中翩然起舞的精灵。
编辑：黄飞