AI21实验室最新发布了Jamba模型的升级版——Jamba 1.5 Mini与Jamba 1.5 Large。这两款新版本模型巧妙融合了Transformer架构与Structured State Space（SSM）模型的优势，旨在提升性能与准确性。Jamba系列的核心在于其独特的Joint Attention and Mamba（Jamba）架构，该架构通过引入名为Mamba的方法，并与Transformer技术相结合而实现。

自今年三月份Jamba 1.0问世以来，AI21实验室收到了来自业界的广泛反馈。作为首次在大规模生产环境中应用Mamba技术的尝试，Jamba架构引发了行业内对未来语言模型发展方向的热烈讨论。此次推出的Jamba 1.5系列，在原有基础上增添了多项新功能，包括支持函数调用、JSON模式处理、结构化文档对象操作以及引用模式等，旨在助力构建更为复杂的“代理型”人工智能系统。

Jamba 1.5 Mini与Large均配备了256K的大上下文窗口，并采用了先进的Mixture-of-Experts（MoE）架构。具体而言，Mini版本拥有520亿总参数，其中120亿为活跃参数；而Large版本则更为强大，总参数达到3980亿，活跃参数为940亿。这两款模型均在开放许可下提供，AI21实验室还为用户提供商业支持与服务。此外，AI21已与多家知名云服务提供商（如AWS、Google Cloud、Microsoft Azure）及数据处理平台（如Snowflake、Databricks、Nvidia）建立了合作关系。

关于Jamba 1.5引入的新特性，主要包括：

• JSON模式：增强了模型处理结构化数据的能力，便于开发者在复杂工作流程中构建和管理输入/输出关系。
• 引用模式：提高了系统的可追溯性和透明度，确保生成内容能够准确标注其信息来源。
• 文档API：优化了上下文管理机制，使模型在生成文本时能更有效地引用相关文档。
• 函数调用能力：赋予模型执行特定任务的能力，如数据库查询或计算操作。

AI21实验室的产品副总裁Or Dagan指出，JSON模式的加入有助于开发者更高效地构建应用程序的工作流程。同时，引用模式的引入则是为了确保模型生成的内容能够明确标注其信息来源，提升内容的可信度和可追溯性。

值得注意的是，尽管引用模式与Retrieval Augmented Generation（RAG）技术都涉及从外部数据源检索信息以提升生成内容的准确性，但两者在实现方式上存在显著差异。RAG通常需要依赖向量数据库来检索相关文档，并由模型学习如何整合这些信息；而Jamba 1.5的引用模式则更加紧密地集成于模型内部，不仅实现了信息的检索与融合，还能明确标注信息来源，从而提供了更高的透明度和可追踪性。

此外，AI21实验室还提供了包含文档检索、索引等功能的端到端RAG解决方案作为托管服务。