您尚未登录账户
您的企业账号申请正在审核中
企业AI发展探索新架构，Transformer非唯一选择
随着越来越多的企业组织目光投向所谓的代理式未来，AI模型构建方式可能成为一大障碍。对于企业AI开发者而言，行业需要探索其他模型架构，以实现更高效的AI代理。
AI21公司CEO Ari Goshen在接受采访时表示，目前最受欢迎的Transformer模型架构存在局限性，可能阻碍多代理生态系统的构建。他指出，Transformer通过创建大量标记来运作，成本高昂。
AI21专注于开发企业AI解决方案，并曾指出，Transformer应作为模型架构的一种选择，而非默认选项。该公司正在开发基于其JAMBA架构的基础模型，即Joint Attention and Mamba架构的简称。该架构基于普林斯顿大学和卡内基梅隆大学研究人员开发的Mamba架构，可提供更快的推理速度和更长的上下文。
Goshen表示，像Mamba和Jamba这样的替代架构通常可以使代理结构更高效，且最重要的是，成本更低。Mamba架构的模型具有更好的内存性能，这有助于代理，特别是与其他模型相连的代理，更好地工作。
他认为，AI代理之所以现在才开始流行，且大多数代理尚未投入生产，是因为对基于Transformer的大型语言模型（LLMs）的依赖。Goshen指出，Transformer模型具有随机性，因此任何错误都会持续存在，导致可靠性不足。
今年，AI代理已成为企业AI领域的最大趋势之一。多家公司推出了AI代理和平台，以简化代理的构建。例如，ServiceNow宣布更新了其Now Assist AI平台，包括一个AI代理库；Salesforce推出了名为Agentforce的代理团队；Slack则开始允许用户集成来自Salesforce、Cohere、Workday、Asana、Adobe等公司的代理。
尽管Transformer架构已成为开发基础模型的默认或标准选择，如OpenAI的GPT等，但Goshen等专家仍强烈支持Mamba等替代架构，因为Transformer模型运行成本高昂且操作不便。
Mamba架构可以优先处理不同的数据，为输入分配权重，优化内存使用，并利用GPU的处理能力。近几个月来，其他开源AI开发者也开始发布基于Mamba的模型，如Mistral的Codestral Mamba 7B和Falcon的Falcon Mamba 7B。
然而，企业在选择AI架构时，除了考虑成本效益和可靠性外，还需警惕那些承诺解决诸多问题的华丽演示。Goshen警告说，目前仍处于易于制作华丽演示的阶段，但距离产品阶段还有一定距离。企业可以将AI用于研究，但尚未到可以依赖其做出决策的地步。
