Cohere发布了一款低成本的AI模型,仅需两块GPU

2025年03月14日 由 佚名 发表 150 0

人工智能初创公司Cohere Inc.今天发布了Command A,这是其最新的大型语言模型,能够以较少的硬件需求为商业应用提供高性能能力,相比竞争对手的AI模型。


该初创公司宣称,这款LLM能够超越领先的专有和开放模型,如OpenAI的GPT-4o和DeepSeek-V3。公司补充说,在私有部署中,LLM可以在两块图形处理单元上运行,使用的是Nvidia公司的A100或H100,而竞争模型可能需要多达32块。

这种规模差异可能很重要,因为需要内部部署的客户,如金融和医疗保健,通常必须将其AI模型放置在防火墙内。这意味着必须购买昂贵的AI加速器硬件,并拥有能够在企业内部运行的高性能模型。

“在商业、STEM和编码任务的正面对比中,Command A匹敌或超越了其更大更慢的竞争对手——同时提供更高的吞吐量和更高的效率,”Cohere表示。它详细说明了Command A可以以每秒高达156个token的速度交付token,比GPT-4o快1.75倍,比DeepSeek-V3快2.4倍。

考虑到商业用途,该模型还具有更大的上下文窗口,达到256,000个token,是行业平均水平的两倍,包括Cohere的Command R+模型。这意味着该模型可以一次性处理大量文档,或多达一本600页的书。

“我们只是在训练我们的模型,让你在工作中表现得更好”Cohere联合创始人Nick Frosst说。“这应该感觉像是为你的大脑穿上机甲。所以,我们正在训练它来增强你的能力。它应该在这方面表现得特别好。”

公司表示,它专注于开发模型中的功能,以支持AI代理的可扩展操作。Agentic AI最近已成为行业中的一个显著趋势,旨在创建能够分析数据、做出决策并执行任务的人工智能系统,几乎无需或完全不需要人类参与。实际上,这需要大量的计算能力,并且基于公司信息高效准确地执行需要经过良好训练的AI模型。

Cohere表示,Command A将直接与其安全的AI代理平台集成,North,该平台允许企业用户充分利用其公司数据。该平台旨在使企业AI代理能够使用客户关系管理、资源规划软件和其他工具来自动化任务。

文章来源:https://siliconangle.com/2025/03/13/cohere-releases-low-cost-ai-model-requires-two-gpus/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消