近日,由上海天数智芯半导体有限公司(以下简称“天数智芯”)主导的DeepSpark开源社区正式发布了百大应用开放平台24.06版本。 百大应用开放平台作为国内领先的AI和通用计算应用开发及评测平台,甄选上百个与行业应用深度耦合的开源算法和模型,支持主流生态应用框架,并针对行业需求构建多维度评测体系,广泛支持各类落地场景。
本次24.06版本首度上线了多维度评测系统社区版,旨在从速度、精度、显存占用、功耗、线性度、稳定性等多个维度来全面评价通用GPU加速卡在模型训练或推理中的综合表现。多维度评测系统社区版首期支持的36个训练模型均来自DeepSparkHub百大训练模型库,欢迎社区用户使用体验。
同时,24.06版本继续丰富DeepSparkHub百大模型训练库和DeepSparkInference推理模型库中的模型示例。
24.06版本在DeepSparkHub百大训练模型库中新增了7个基于PyTorch框架的模型以及对OpenPCDet工具箱的支持,同时上线了8个基于DeepSpeed、Megatron-DeepSpeed和Firefly的大语言模型训练示例。迄今为止在DeepSparkHub百大训练模型库累计开源上线的模型数量达到了276个。
24.06版本在DeepSparkInference推理模型库中新增了基于天数智芯自研推理引擎IGIE和IxRT的31个推理模型示例,同时还新增了4个基于vLLM、TensorRT-LLM和Text Generation Inference的大语言模型推理示例。值得一提的是,今年6月天数智芯与启智社区合作举办的芯动开源首场-天数智芯专场活动中全面采用了来自DeepSparkInference的推理模型,社区用户累计完成了近300次推理模型执行和结果提交,充分展现了智铠100通用GPU推理加速卡的通用性。
随着DeepSparkHub百大训练模型库和DeepSparkInference推理模型库的持续丰富,进一步展示了天数智芯通用GPU产品天垓和智铠的通用性和易用性。欢迎行业合作伙伴、社区用户和开发者以任何形式参与DeepSpark开源社区。
审核编辑:彭菁
全部0条评论
快来发表一下你的评论吧 !