您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
AMD发布首款小语言模型AMD-Llama-135m，采用推测解码技术
2024年09月30日 由 daydream 发表
217
0
AMD近期在Huggingface平台上公开了其自主研发的首款小语言模型——AMD-Llama-135m。这款模型凭借其独特的推测解码功能，以及涵盖6700亿个标记（token）的处理能力，吸引了业界的广泛关注。AMD-Llama-135m遵循Apache 2.0开源许可协议，旨在促进技术的共享与应用。
推测解码是AMD-Llama-135m的核心技术优势。它运用了一种两级验证策略：首先，利用一个小型的初步模型快速生成一系列候选标记；接着，这些候选会被送入一个更为复杂的目标模型中进行进一步的筛选与验证。这一机制不仅允许模型在一次前向传递中同时处理多个标记的生成，还显著减少了内存（RAM）的占用，有效提升了计算效率。
在训练流程上，AMD透露，AMD-Llama-135m模型是在四个AMD Instinct MI250高性能计算节点上，历经六天时间精心训练而成。而对于针对编程任务优化的特定版本——AMD-Llama-135m-code，则额外增加了四天的精细微调工作，以确保其在代码理解与生成方面的性能表现。
此次AMD-Llama-135m的发布，不仅展示了AMD在人工智能领域的技术积累，也为自然语言处理领域的研究与应用提供了新的工具与思路。
文章来源：https://www.ithome.com/0/799/362.htm
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消