SambaNova推类ChatGPT开源模型BLOOMChat之后再推AI芯片SN40L
SambaNova是硅谷AI芯片初创公司,近期推出了AI芯片SN40L,SN40L芯片基于台积电5nm工艺打造,每个芯片集成了1020亿个晶体管和1040个核,算力高达638TFlops。这款新 SambaNova 芯片由台积电负责制造,能够支持 5 万亿参数模型,并包含两种先进的存储形式。
SambaNova称单个SN40L系统节点(8块SN40L芯片)就能支持到最高5万亿参数的大模型。
此外,SambaNova与其他竞争对手一样,在AI芯片上引入了64GB HBM用于解决内存墙的问题,这也是SN40L与上一代芯片的差异之一。只不过SambaNova并没有透露SN40L用的是何种HBM,以及带宽性能如何。
SambaNova成立于2017年,截至目前已经历了共计6轮融资,参与融资的公司包括谷歌、英特尔和软银等,融资总额高达11亿美元。
此前SambaNova还与Together联合推出了类ChatGPT开源模型——BLOOMChat。
BLOOMChat是基于BigScience在2022年7月开源的大语言模型BLOOM开发而成,并在OpenChatKit、Dolly 2.0和OASST1的数据训练集上进行微调。
BLOOMChat有1760亿参数,支持中文、英文、日文、法文、等46种语言;支持代码生成,包括Python、java、php、cpp、Ruby、C++等13种编程语言;可用于 Apache 2.0 修改版本下的研究和商业用例;知名开源平台持续提供技术迭代等。
BLOOMChat与目前市面上大多数类ChatGPT开源模型相比,在预训练数据、指令调优、功能扩展、AI对齐等方面拥有巨大优势。
全部0条评论
快来发表一下你的评论吧 !