来自 AI 生态系统各个领域的 150 余家合作伙伴嵌入了 NIM 推理微服务,将企业级 AI 应用的部署时间从数周缩短至几分钟
NVIDIA 开发者计划会员可免费使用 NIM 来进行研究、开发和测试
NVIDIA 于今日宣布,全球 2,800 万开发者现可下载NVIDIA NIM——一种推理微服务,通过经优化的容器的形式提供模型——以部署在云、数据中心或工作站上。借助 NVIDIA NIM,开发者能够轻松地为 copilots、聊天机器人等构建生成式 AI 应用,所需时间从数周缩短至几分钟。
NVIDIA 创始人兼首席执行官黄仁勋表示:“每个企业都希望在其运营中融入生成式 AI,但并非每个企业都拥有专门的 AI 研究团队。NVIDIA NIM 可被集成到任意平台中,任何地方的开发者都可以访问,并且可以在任意环境中运行——它正在助力科技行业将生成式 AI 普及到每一个企业组织。”
40 余个 NIM 微服务
为跨模式的生成式 AI 赋能
NIM 容器是预构建的,以加速模型部署,可用于 GPU 加速推理,其中包括NVIDIA CUDA软件、NVIDIA Triton 推理服务器和NVIDIA TensorRT-LLM软件。
数百家 AI 生态系统合作伙伴已嵌入 NIM
包括 Canonical、Red Hat、Nutanix 和 VMware(已被博通收购)在内的平台提供商已在开源 KServe 或企业解决方案方面支持 NIM。AI 应用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 来支持生成式 AI 推理。
行业巨头通过 NIM 加强生成式 AI
行业领导者 Foxconn、和硕、Amdocs、劳氏公司、ServiceNow 和西门子利用 NIM 来加强生成式 AI 应用,涉及制造业、医疗、金融服务、零售、客户服务等领域。
审核编辑:彭菁
全部0条评论
快来发表一下你的评论吧 !