如果Meta想与竞争对手（如Falcon）保持同步，那么现在是Meta加速发布LlaMa 3的时候了。

作为开源领域的无冠之王，Meta正经历着艰难的时期。最近发布的Llama和Llama 2因为是开源语言模型而备受赞誉，但也导致了一些曾经参与过Llama开发的科学家和工程师的离职。

他们离开的原因是与另一个Meta研究团队开发竞争模型的内部计算资源之争。 

虽然这家科技巨头正在努力解决内部问题，但它正面临着来自其他愿意为开源做出贡献的公司的激烈竞争。 

开源语言模型已经迎来了一位新的王者，而这位王者来自中东。TII最近发布的Falcon模型在排行榜上名列前茅。

Falcon 180b具有1800亿个参数，并在庞大的3.5万亿个令牌的数据集上进行了训练，这迫使社区开始关注它。在性能方面，Falcon 180b已经稳住了自己的位置，在开放访问模型排行榜上占据主导地位。虽然在这个早期阶段很难确立明确的排名，但Falcon 180b的表现已经引起了与PaLM-2的比较，这证明了它的能力。

接下来只有两家公司

然而，Meta并没有与OpenAI以外的其他任何人竞争，OpenAI正在谈论多模态功能，并希望集成其图像生成模型DALLE 3的迭代。

在这样的环境下，关于LLaMa 3的讨论充满了各种期望和预测。许多人预期LLaMa 3将使用高质量的训练数据，如Phi 1.5，以提高性能。人们还对能够使用更多令牌并进一步探索规模定律的潜力感到兴奋。此外，还有关于混合体系结构的讨论，这是一种可以改善比参数体系结构更强的统计体系结构方法，它可以超越单个专家或子模型的性能。

人们还期望LLaMa 3能够为开源带来多模态能力。Meta可以利用其自身在LLaMa基础上构建的多模态模型生态系统，如mPLUG-Owl、llava、minigpt4和基于LLaMa的blip2。

开源项目寄希望于LLaMa

对于依赖于开源语言模型LLMs的小型项目来说，Meta已经成为了一个关键的参与者。开源语言模型排行榜上有很多基于LlaMa微调的模型，至少有六个，其中包括来自印度开发者的Uni-TianYan、FashionGPT、sheep-duck、Orca，以及GenZ Model。

虽然Falcon提供了一个非常好的强大的替代方案，但人们对其许可证仍有疑虑。

从本质上讲，这些条款的含义是许可方保留在不需要明确通知用户的情况下修改“可接受使用政策”的权利，而用户需根据政策的最新版本进行使用。不这样做可能会导致违反许可条款。

从Reddit到黑客新闻论坛，几个论坛都认同Meta在开源语言模型开发中的重要作用，并对LlaMa 3的推迟感到失望。根据《华尔街日报》的一篇文章，Meta甚至还没有开始对其进行训练，并将在2024年初至中期启动该项目。

这种延迟也意味着开源社区将滞后。评论者重申，Meta的行动对这种模型的可用性产生了重大影响。如果Meta选择不发布开源的LlaMa 3，那么其他经验丰富且资金雄厚的团队不太可能愿意放弃成本数百万美元开发的模型，除了Falcon之外。