AMD发布首款小语言AI模型Llama-135m

近日，AMD在Huggingface平台上正式推出了自家首款“小语言模型”——AMD-Llama-135m。这款模型以其独特的推测解码功能，吸引了业界的广泛关注。

AMD-Llama-135m模型拥有6700亿个token，并采用了Apache 2.0开源许可，为用户提供了更多的灵活性和自由度。据AMD介绍，该模型主打“推测解码”能力，这一功能的基本原理是通过使用一个小型草稿模型来生成一组候选token，然后由更大的目标模型对这些候选token进行验证。这种方法不仅能够确保生成的token的准确性和可靠性，而且允许每次前向传递生成多个token，从而显著提高了效率。

与传统的AI模型相比，AMD-Llama-135m在RAM占用方面也有了显著的优化。由于采用了推测解码技术，该模型能够在不影响性能的前提下，减少RAM的占用，实现了更加高效的计算和存储资源利用。

AMD-Llama-135m的发布，标志着AMD在AI领域迈出了重要的一步。未来，AMD将继续致力于AI技术的研发和创新，为全球用户提供更加智能、高效和可靠的解决方案。