您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
猎户星空发布140亿参数大模型，千元显卡即可运行
2024年01月22日 由 neo 发表
286
0
猎豹移动董事长兼CEO、猎户星空董事长傅盛举办主题为“AI浪潮下如何创新”的AI公开课，分享了他在AI浪潮下的创新思考，并发布了企业级基座大模型Orin-14B等多款产品。这款基座大模型能在千元显卡上运行，官方表示完全免费、开源并可商用。
Orin-14B拥有140亿参数，基于MoE多专家模型架构，性能接近千亿参数大模型。傅盛以社保公积金领域的垂直模型应用为例，展示了其高准确率：未经微调准确率为60%，微调后高达97%。
傅盛强调，百亿参数模型在性能和成本之间实现了良好平衡，他对此表示关注。官方数据显示，猎户星空大模型INT4量化后，参数减少70%，推理速度提升30%，性能损失小于1%。
此外，该模型支持320K上下文的长文本处理，一次性处理45万字汉字输入并提取关键摘要信息。傅盛预测，千亿参数大模型将逐渐凋零，社会不需要过多的大模型。
除了基座大模型，猎户星空还推出了“微调全家桶”，涵盖7种套件的微调。傅盛认为，互联网公司通过大模型重构业务线，有机会获得十倍增长。微软就是典型的案例，未来微软有可能成为第一个10万亿美金的公司。
最后，傅盛强调了Think different的创新理念，认为企业私有大模型是另一种体现。他回顾了互联网创业大潮和本轮AI技术浪潮，表示只有勇于不同才是创新的不二法门。
文章来源：https://new.qq.com/rain/a/20240121A06JS500
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
下一篇
生成式人工智能如何吞噬互联网
广告
广告
写评论取消
回复取消