GoogleDeepMind最近宣布推出PaLM 2，这是一种庞大的语言模型（LLM），为Bard和其他25个产品功能提供支持。PaLM 2在各种基准测试中明显优于先前版本的PaLM，同时规模更小、运行成本更低。



Google CEO Sundar Pichai在Google I/O '23上宣布了这个模型。PaLM 2现在包括代码生成、推理和多处理语言在内的各种任务中表现良好，并提供四种不同的模型大小，其中包括一种轻量级版本称为Gecko，专为移动设备使用。在自然语言处理（NLP）基准测试中评估时，PaLM 2表现优于PaLM，并在许多任务中达到了新的最先进水平，尤其是在BIG-bench基准测试中。除了为Bard提供动力外，新模型还是许多其他产品的基础，包括Med-PaLM 2，一个经过微调过，专门用于医学领域的LLM，以及Sec-PaLM，一个用于网络安全的模型。据Google称，PaLM 2标志着LLM和自然语言处理技术发展的重要里程碑，展示了Google继续推动该领域发展的承诺。

PaLM 2向我们展示了不同规模和速度的高性能模型的影响，以及多功能AI模型为所有人带来的实际好处。然而，正如我们致力于发布最有帮助和负责任的AI工具那样，我们也在努力创建Google迄今为止最好的基础模型。

在2022年，InfoQ报道了Pathways Language Model（PaLM）的首次发布，这是一个包含5400亿个参数的庞大型语言模型（LLM）。PaLM在几个推理基准上取得了最先进的表现，并在两个新颖的推理任务上显示出能力：逻辑推理和解释笑话。

对于PaLM 2，Google实施了几项改进来提高模型性能。首先，他们研究了模型缩放定律，以确定训练计算、模型大小和数据大小的最佳组合。他们发现，在给定的计算预算下，数据和模型大小应该按照“大致1:1”的比例缩放，而之前的研究者则将模型大小扩大到数据大小的3倍。

团队通过在训练数据集中增加更多语言并更新模型训练目标来提高PaLM 2的多语言能力。原始数据集被英语“主导”；新数据集从更多多样化的语言和领域进行提取。PaLM 2不仅使用语言建模目标，还使用了“调整后的混合”训练目标。

Google对PaLM 2在六个广泛的NLP基准测试中进行了评估，包括：推理，编码，翻译，问答，分类和自然语言生成。评估的重点是将其性能与原始PaLM进行比较。在BIG-bench上，PaLM 2显示出了“大幅改进”，在分类和问答方面，即使是最小的PaLM 2模型也实现了与更大的PaLM模型“竞争性”的性能。在推理任务上，PaLM 2与GPT-4也“竞争性”地具有相似的表现；它在GSM8K数学推理基准测试上表现超过了GPT-4。

“在Reddit的讨论中，一些用户评论说，虽然PaLM 2的输出不如GPT-4的好，但它显然更好。”一位用户说：“他们可能希望这个模型可扩展性强，以便可以在其产品中免费或低成本地实现。同时，它能够在不用太长时间的情况下附带搜索结果。我一直在使用 GPT-4 并且很喜欢它，但是它的速度相信大家也很清楚。正常使用基于PaLM 2上的新Bard，它甚至比GPT 3.5 Turbo更快了一大截。”

 

来源：https://www.infoq.com/news/2023/06/google-palm2-bard/