AI大模型引发算力变革，英特尔与百度联合发起飞桨+文心大模型硬件生态共创计划 ，加速大模型开发与落地

8月16日，英特尔在Wave Summit 2023深度学习开发者大会上，携第四代英特尔 至强可扩展处理器、英特尔oneAPI 和英特尔发行版OpenVINO 等人工智能全栈软硬件解决方案，与众多人工智能专家学者和开发者深入交流，展示了英特尔AI的端到端能力。

同时，英特尔正式宣布与百度联合发起飞桨+文心大模型硬件生态共创计划，双方将共同推进在英特尔硬件上与飞桨+文心大模型的适配。此项计划将进一步拓展双方在大模型领域的合作，并构建更加高效、完整的AI生态，助力大模型的落地应用。

以大语言模型为代表的人工智能技术在全球掀起科技和产业创新浪潮，加速产业升级和经济增长。我们也在积极探索英特尔 数据中心GPU 和Habana Gaudi 2 在大语言模型领域的合作机会，为AI行业创新提供新动力。

—英特尔中国区互联网行业总经理 胡凯

飞桨（PaddlePaddle）是百度自主研发的中国首个开源开放、功能丰富的产业级深度学习平台，是百度“芯片-框架-模型-应用”全栈技术布局的重要组成部分，与芯片层深度适配与融合优化，并高效支撑以文心一言为代表的文心大模型的生产与应用。当前飞桨已凝聚800万开发者，广泛服务于金融、能源、制造、交通等领域。而文心大模型是百度产业级知识增强大模型，以“知识增强”为特色，引入知识图谱，将数据与知识融合，提升了学习效率及可解释性。

近年来，英特尔与百度飞桨已经进行了长期深入的技术合作，并取得了丰硕成果。从2017年开始，不断拓展双方合作的深度和广度，双方成立了联合技术团队实现英特尔AI加速软件栈与飞桨的持续集成，从硬件上积极适配全系列英特尔 至强 可扩展处理器AI产品。在软件层面，通过英特尔 oneAPI 深度神经网络库 (英特尔 oneDNN )调用英特尔 AVX-512、英特尔 深度学习加速（英特尔 DL Boost ）、英特尔 高级矩阵扩展AMX（英特尔Advanced Matrix Extensions）等底层加速技术，对百度飞桨中 NLP，CV 等各类别模型和框架进行了深度优化。例如百度ERNIE 3.0轻量化版本ERNIE-Tiny 模型，基于英特尔软硬件的联合优化，性能获得了显著的提升。

在大模型方面，英特尔计划推出针对至强 可扩展处理器平台高度优化的大语言模型（LLM）推理加速引擎。该加速引擎兼容 Huggingface 等主流的模型格式，支持OPT，LLAMA，ChatGLM，Falcon 等多种主流大语言模型在FP16/BF16/INT8数据格式上的推理加速，可以充分利用至强 可扩展处理器平台上的底层硬件加速进行加速，同时具有良好的跨节点扩展性，加速英特尔 至强 可扩展处理器与飞桨+文心大模型的适配，助力AI算力+大模型算法融合发展。

从 2022.1 版本发布开始，英特尔AI推理工具套件英特尔 OpenVINO 也正式直接支持飞桨模型，大大提升了模型在英特尔异构硬件上的推理性能和可用性。英特尔 OpenVINO 与百度飞桨围绕模型构建、优化及部署三个方面的合作不断深入，不仅帮助开发者减少中间环节，还能够让一些大模型在边缘部署成为可能，优化了整个的边缘推理和操作流程。目前，英特尔 OpenVINO 不仅能够支持飞桨模型在英特尔 CPU 和集成显卡上部署、在英特尔独立显卡上部署，还可以通过一行代码支持飞桨模型在多张独立显卡上部署。英特尔  OpenVINO 的最新版本也引入对PaddleSlim 量化后模型以及ERNIE Tiny 模型的直接支持，以实现在英特尔平台上更优异的性能表现。同时，英特尔 OpenVINO 与百度飞桨持续在社区生态发力，连续三年参与飞桨黑客马拉松，众多PR被合入OpenVINO 主代码，并多次开展各类线上线下研讨会、训练营，与百度飞桨共建AI繁荣生态，为 AI 开发者提供全方位支持。

如今生成式人工智能浪潮迭起，大模型逐渐成为新一轮科技革命和产业变革的重要驱动力量，而超级AI算力+大模型算法是此次变革进程中的基础和核心。英特尔与飞桨+文心大模型将持续携手，聚生态之力，共同打造软硬一体的人工智能大模型平台，为人工智能尤其是大模型的快速发展和应用落地提供坚实的基础。

参考资料：

1 测试配置如下：测试配置 1：处理器：双路英特尔 至强 铂金 8358P 处理器，主频 2.6GHz，32 核心 64 线程，睿频开启；内存：512GB DRAM（16x32GB DDR4 3200 MT/s [2933 MT/s])；存储：INTEL_ SSDSC2KG960G8, INTEL_SSDSCKKB480G8；网络适配器：2x Ethernet Controller 10G X550T；BIOS 版本：06.00.01；操作系统版本：Ubuntu 20.04.4 LTS (Kernel：5.8.0-43-generic)；GCC 版本：8.4；英特尔 oneDNN 版本：2.6；工作负载：PaddlePaddle 2.3，Ernie-3.0 optimization for INT8；