电子发烧友网报道(文/李弯弯)日前,英特尔AI产品战略暨Gaudi2新品发布会在京举行。会上,英特尔正式于中国市场推出第二代Gaudi深度学习加速器——HabanaGaudi2。英特尔在中国市场推出的Gaudi2AI加速器,将通过其合作伙伴浪潮提供给中国客户。
Gaudi2在训练和推理上的出色表现
英特尔此次推出的Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B,以第一代Gaudi高性能架构为基础,以多方位性能与能效比提升,加速高性能大语言模型运行。该加速器具备:
96GBHBM2E内存容量
2.4TB/秒的总内存带宽
48MB片上SRAM
集成多媒体处理引擎。
相比于国际版本,面向中国市场的Gaudi2每张芯片集成的专用于内部互联的100Gbps(RoCEv2RDMA)以太网接口,从24个减至21个。
英特尔HabanaLabs首席运营官EltanMedina对媒体表示,根据模型的不同,特供版Gaudi2性能会有轻微的影响,但在很多数据训练扩展中,并不是用这三个端口,整体性能差别不大。
根据英特尔的展示,相比于上一代产品,在ResNet-50模型测试中,Gaudi2训练吞吐量提高了3倍,BERT模型的训练吞吐量提高了4.7倍。目前,单个Gaudi2在ResNet-50模型可达到非常稳定的5800个图像/每秒的吞吐量。
与英伟达相比,Gaudi2运行ResNet-50的每瓦性能约是英伟达A100的2倍,性价比相较于AWS云中基于英伟达的解决方案高出40%。英特尔表示,接下来到9月,采用FP8软件的Gaudi2预计能够提供比H100更高的性价比。
根据此前的报道,在测试GPT-3方面,Gaudi2也表现出了强劲性能,384个加速器上的训练时间为311分钟,从256个加速器到384个加速器实现近线性95%的扩展效果。
Gaudi2在大规模的多模态和语言模型的推理方面也表现出色。HuggingFace评估中,Gaudi2在运行StableDiffusion、70亿以及1760亿参数BLOOMz模型时,在行业内都保持领先水平。
英特尔在AI领域的布局
AI计算包括训练和推理,目前而言,在训练方面,英伟达的GPU长期占据主导地位。近段时间,大模型的热潮四起,英伟达的GPU明显供不应求。这让AMD、英特尔以及一些AI芯片初创企业看到了新的机会。
事实上英特尔在AI领域早有布局。2019年12月,英特尔斥资约20亿美元重金收购了成立于2016年的以色列人工智能(AI)芯片初创企业HabanaLabs。在此之前,英特尔还收购了FPGA厂商Altera、AI芯片公司Nervana。
在收购HabanaLabs后的几年中,英特尔加紧使Habana团队与英特尔内部业务整合。在2022年IntelVision活动上,英特尔推出第二代深度学习芯片HabanaGaudi2和HabanaGreco,分别用于AI训练和AI推理。也就是说,英特尔此次面向中国市场推出的新Gaudi2,也是在此前收购了HabanaLabs的基础上完成的。
面向AI领域的应用,英特尔有全面的芯片组合,包括CPU、GPU、FPGA、AI专用芯片等。英特尔公司执行副总裁数据中心与人工智能事业部总经理SandraRivera表示,Gaudi2作为用于AI加速的专用处理器,是英特尔产品组合适用于大模型负载中,性能最优的产品。
除了硬件方面,英特尔也非常注重在软件方面的优化,SandraRivera表示,英特尔致力于通过客户提供广泛的硬件选择,并支持开放的软件环境,加速人工智能技术的发展。
据英特尔介绍,为支持客户轻松构建模型,或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器,并帮助保护软件开发投入,SynapseAI软件套件针对Gaudi平台深度学习业务进行了优化,旨在与广泛的软件生态系统一起,帮助简化模型的开发和迁移。
SynapseAI集成了对TensorFlow和PyTorch框架的支持,并提供众多流行的计算机视觉和自然语言参考模型,能够满足深度学习开发者的多样化需求。
对于英特尔来说,中国是一个很重要的市场,根据2022年数据,英特尔在中国的营收占到总营收的27%。如今中国的大模型发展如火如荼,而英伟达的A100/H100在中国禁售,特供版的A800/H800也需要获得许可才能出售。这对于英特尔来说,是一个很好的机会。
据悉,目前英特尔正与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7,该服务器集成8颗Gaudi2加速卡HL-225B,还包含双路第四代英特尔至强可扩展处理器。此外,新华三、超聚变等公司,预计也将推出搭载Gaudi2的服务器。
小结
算力是AI大模型发展的重要基础,而AI芯片又是提供算力的重要组成部分。无论是训练还是推理,未来随着大模型的不断推进及应用落地,AI芯片的市场需求都将会持续上升。在英伟达一家独大的情况下,英特尔等厂商竞争力的不断提升,对整个产业的发展也更为有利。
-
处理器
+关注
关注
68文章
19275浏览量
229741 -
英特尔
+关注
关注
61文章
9959浏览量
171718 -
AI芯片
+关注
关注
17文章
1885浏览量
35007 -
Gaudi2
+关注
关注
0文章
13浏览量
102
发布评论请先 登录
相关推荐
评论