0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Groq推出大模型推理芯片 超越了传统GPU和谷歌TPU

汽车电子设计 来源:芝能汽车 2024-02-26 10:24 次阅读

Groq推出了大模型推理芯片,以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片采用了全球首个LPU方案,解决了计算密度和内存带宽的瓶颈,推理速度提高了10倍,成本降低十分之一,性价比提高了100倍。芯片搭载了230MB大SRAM,内存带宽高达80TB/s,算力强大,支持多种机器学习框架进行推理。 Groq在演示中展示了多种模型的强大性能,并宣称在三年内将超越英伟达产品特色包括API访问速度快、支持多种开源LLM模型、价格优势等,成为大模型推理领域的新兴力量。

Groq 公司的创始于2016年,旗舰产品是 Groq Tensor Streaming Processor Chip(TSP)和相应的软件,主要应用于人工智能、机器学习、深度学习等领域。目标市场包括人工智能和机器学习超大规模应用、政府部门、高性能计算集群、自动驾驶车辆以及高性能边缘设备。

Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。这个芯片到底是怎么做的呢?

6563bedc-d440-11ee-a297-92fbcf53809c.png

Part 1

Groq的做法

随着人工智能(AI)和高性能计算(HPC)的融合发展,对于同时处理AI和HPC工作负载的需求日益增加。在这一背景下,Groq公司推出了其最新的AI推理加速器,旨在简化计算、提高效率,并实现更高的可扩展性,软件定义张量流多处理器(TSP),采用了一种全新的硬件软件结合的方法,为人工智能、机器学习和深度学习应用提供更高效的计算支持。

Groq AI推理加速器的设计思想是结合了HPC与AI的工作负载需求,提供了一种创新的可扩展计算架构。

相比传统的GPU,GroqChip 1具有更简化的编程模型,更高的响应速度以及更可靠的执行。该芯片拥有多个特色组件,包括高速网络、数据交换器、指令控制、SRAM内存以及Groq TruePoint矩阵,使其具备了强大的计算能力和灵活性。

传统的 CPU 架构在控制逻辑方面隐藏了大量复杂性,如缓存、预取、乱序执行和分支预测,但这些控制逻辑会减少可用于原始计算的面积。

与此相反,Groq 公司重新审视了硬件软件的合约,创造出了更加可预测和基于流的硬件,并将更多的控制权交给了软件。

硬件(CPU)定义了软件,但随着数据流型计算需求的增长以及摩尔定律和 Dennard 缩放的减速,CPU“抽象”不再是软件开发的唯一基础。因此,Hennessy 和 Patterson 提出了“计算机体系结构的新黄金时代”的观点,Lattner 提出了“编译器的新黄金时代”的观点,Karpathy 则提出了“软件 2.0”的概念,这都预示着硬件与软件的抽象合约已经重新开启,实现了“软件定义硬件”的机会。

GroqChip 的可扩展架构以简化计算,通过使用大量单级划分 SRAM 和显式分配张量,实现了可预测的性能。

此外,Groq 公司设计了功能划分的微体系结构,重新组织了多核网格,使得编译器可以对程序执行进行精确控制,从而提高了执行效率。

659b1602-d440-11ee-a297-92fbcf53809c.png

Groq AI推理加速器支持各种规模的计算节点,从单个卡片到整个机架,都能实现高效的并行计算。

65aae5d2-d440-11ee-a297-92fbcf53809c.png

通过GroqRack和GroqNode等组件的组合,用户可以根据实际需求灵活搭建计算集群,实现对不同规模工作负载的处理。

Groq 公司提供了强大的编译器支持,通过在编译时和运行时之间建立静态-动态接口和硬件-软件接口,赋予了软件更多的数据编排权力。该编译器能够实现 SOTA(State of the Art)级别的性能,对于一些重要的矩阵操作如通用矩阵乘法(GEMM),Cholesky 分解等,取得了令人瞩目的成果。

65aff626-d440-11ee-a297-92fbcf53809c.png

在系统拓扑结构方面,Groq 公司采用了低直径网络 Dragonfly,以最小化网络中的跳数,提高了数据传输效率。

同时,通过 Chip-to-Chip(C2C)链接和流量控制,实现了多芯片间的通信。此外,Groq 公司还提出了一种多芯片间的分区和流水线并行执行的方法,以进一步提高多芯片系统的性能。

65b4d1f0-d440-11ee-a297-92fbcf53809c.png

Part 2

实际案例

除了传统的计算流体动力学(CFD)应用外,Groq AI推理加速器还可应用于图神经网络(GNN)等领域。GNN广泛应用于非欧几里得数据的建模和预测,例如化学分子结构、社交媒体推荐系统等。Groq芯片在处理这类非结构化数据时表现出色,通过深度学习算法的加速,能够大幅提升模型训练和推理的效率。软件定义张量流多处理器提供了一种全新的硬件软件结合的方法,通过重新审视硬件软件合约,将更多的控制权交给了软件,从而实现了更高效的计算性能。随着人工智能和深度学习应用的不断发展,这种方法将有望在未来的计算领域发挥重要作用。

在实际应用中,Groq AI推理加速器已经在化学分子属性预测、药物发现等领域取得了显著的成果。

65d0a9f2-d440-11ee-a297-92fbcf53809c.png

借助其高性能和可扩展性,Groq芯片在处理大规模数据集时能够实现极大的加速,从而提升了科学研究和工程实践的效率。

65ff0b4e-d440-11ee-a297-92fbcf53809c.png

小结

总的来说,Groq AI推理加速器以其创新的设计思想和强大的性能,在处理融合HPC与AI工作负载的应用中展现出了巨大的潜力。随着对于高性能计算和人工智能技术的不断发展,相信Groq芯片将在各个领域展现出更广泛的应用前景。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47244

    浏览量

    238372
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132610
  • TSP
    TSP
    +关注

    关注

    1

    文章

    24

    浏览量

    16925
  • 大模型
    +关注

    关注

    2

    文章

    2439

    浏览量

    2677
  • Groq
    +关注

    关注

    0

    文章

    9

    浏览量

    81

原文标题:Groq AI推理加速器: 三年内超越英伟达?

文章出处:【微信号:QCDZSJ,微信公众号:汽车电子设计】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    刷屏的Groq芯片,速度远超英伟达GPU!成本却遭质疑

    电子发烧友网报道(文/李弯弯)英伟达遇到劲敌?近日,Groq芯片计算速度超过英伟达GPU的消息刷屏。Groq是一家成立于2016年的AI创
    的头像 发表于 02-22 09:06 3527次阅读

    《算力芯片 高性能 CPUGPUNPU 微架构分析》第3篇阅读心得:GPU革命:从图形引擎到AI加速器的蜕变

    在数据挖掘工作中,我经常需要处理海量数据的深度学习任务,这让我对GPU架构和张量运算充满好奇。阅读《算力芯片》第7-9章,让我对这些关键技术有全新认识。 GPU架构从早期的固定功能流
    发表于 11-24 17:12

    FPGA和ASIC在大模型推理加速中的应用

    随着现在AI的快速发展,使用FPGA和ASIC进行推理加速的研究也越来越多,从目前的市场来说,有些公司已经有专门做推理的ASIC,像Groq的LPU,专门针对大语言
    的头像 发表于 10-29 14:12 428次阅读
    FPGA和ASIC在大<b class='flag-5'>模型</b><b class='flag-5'>推理</b>加速中的应用

    沙特阿美携手Groq打造全球最大推理数据中心

    石油巨头沙特阿美与AI芯片创新企业Groq宣布一项重大合作,双方将共同在沙特阿拉伯建设一座全球规模领先的推理数据中心。据Groq官网消息,
    的头像 发表于 09-19 18:03 569次阅读

    TPU v1到Trillium TPU,苹果等科技公司使用谷歌TPU进行AI计算

    ,在训练尖端人工智能方面,大型科技公司正在寻找英伟达以外的替代品。   不断迭代的谷歌TPU 芯片   随着机器学习算法,特别是深度学习算法在各个领域的广泛应用,对于高效、低功耗的AI计算硬件需求日益增长。
    的头像 发表于 07-31 01:08 3359次阅读

    采用创新的FPGA 器件来实现更经济且更高能效的大模型推理解决方案

    本文根据完整的基准测试,将Achronix Semiconductor公司推出的Speedster7t FPGA与GPU解决方案进行比较,在运行同一个Llama2 70B参数模型时,该项基于FPGA的解决方案实现
    的头像 发表于 06-19 15:53 311次阅读
    采用创新的FPGA 器件来实现更经济且更高能效的大<b class='flag-5'>模型</b><b class='flag-5'>推理</b>解决方案

    谷歌发布第六代TPU芯片Trillium,挑战GPT-4o

    分析人士认为,谷歌积极推进自主研发芯片,按照其规划,第七代和第八代产品将分别与联发科、世芯合作生产。此次第六代TPU推出,有望引领CSP(云端服务提供商)厂商投入自研
    的头像 发表于 05-16 18:05 1445次阅读

    谷歌推出Trillium AI芯片,性能提高近5倍

    谷歌推出了其最新的人工智能数据中心芯片——Trillium。这款芯片谷歌的第六代产品,与上一代TPU
    的头像 发表于 05-16 10:39 777次阅读

    谷歌推出第六代数据中心AI芯片Trillium TPU

    在今日举行的I/O 2024开发者大会上,谷歌公司震撼发布其第六代数据中心AI芯片——Trillium Tensor处理器单元(TPU)。据谷歌
    的头像 发表于 05-15 11:18 629次阅读

    进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    Blackwell GPU,标志着 AI 超级计算的一次重大进步。这种独特的配置显著减少传统网络扩展时 的通信开销,使得对 1.8T 参数的模型进行实时推理成为可能,同时将
    发表于 05-13 17:16

    谷歌发布Axion新款数据中心AI芯片,性能超越x86及云端

    谷歌预计将通过Google Cloud提供Axion AI芯片给客户。谷歌强调这款基于ARM的CPU产品具有优越的性能表现,甚至超越
    的头像 发表于 04-10 16:32 884次阅读

    英伟达要小心!爆火的Groq芯片能翻盘吗?AI推理速度「吊打」英伟达?

    随着科技的飞速发展,人工智能公司Groq挑战了英伟达的王者地位,其AI芯片不仅展现出卓越的实力,还拥有巨大的潜力。Groq设计一种独特的推理
    的头像 发表于 03-08 09:44 916次阅读
    英伟达要小心<b class='flag-5'>了</b>!爆火的<b class='flag-5'>Groq</b><b class='flag-5'>芯片</b>能翻盘吗?AI<b class='flag-5'>推理</b>速度「吊打」英伟达?

    Groq收购Definitive intelligence,提升云平台能力

     Groq去年1月发布新型人工智能芯片LPU(语言处理单元),近来引发市场热烈反响——众多公开测试以及客户实测显示,其低延迟与高吞吐量优势显著,尤其是AI推理运算速度相较于英伟达GPU
    的头像 发表于 03-04 09:49 522次阅读

    谷歌模型软件有哪些功能

    谷歌模型软件通常指的是谷歌推出的一系列人工智能模型和软件工具,其中最具代表性的是Google Gemini。Google Gemini是
    的头像 发表于 03-01 16:20 653次阅读

    Groq LPU崛起,AI芯片主战场从训练转向推理

    人工智能推理的重要性日益凸显,高效运行端侧大模型及AI软件背后的核心技术正是推理。不久的未来,全球芯片制造商的主要市场将全面转向人工智能推理
    的头像 发表于 02-29 16:46 1168次阅读