对于大型语言模型的使用案例的讨论正在迅速增长，而Llama 2的发布更是推动了这一趋势，作为Meta的新开源模型。尽管Meta的Llama已经向公众发布，但在其在本地硬件运行方面仍存在巨大的障碍。为了解决这个问题并真正实现让所有人使用Llama 2的强大能力，Meta与Qualcomm合作，使芯片制造商能够根据芯片的人工智能能力对模型进行优化，实现在设备上运行。



行业专家预测，开放的大型语言模型可能会创造出新的以人工智能为动力的内容生成、智能助手和生产力应用。在设备本地运行大型语言模型的能力必将创建一个强大的新生态系统，类似于iPhone引发的应用商店爆炸。

这一举措不仅将降低获得该模型的门槛，还将开启设备上的人工智能处理的各种可能性。与此同时，消费硬件和软件行业也开始意识到人工智能在边缘的可能性。苹果在M1芯片中引入神经引擎，在计算机上添加了一种新类型的处理器，最终给开发者提供了创建真正大众化人工智能的工具。

Qualcomm正在Snapdragon平台下创建一套新的人工智能芯片。该芯片制造商使用Hexagon处理器为其芯片配备了各种人工智能能力。通过使用称为微瓦推理的方法，Qualcomm能够将张量核心、SegNet的专用处理、标量和向量工作负载集成到人工智能处理器中，然后将其集成到Snapdragon移动芯片中。

作为与Meta合作的一部分，Qualcomm将利用新的支持人工智能的骁龙芯片的能力，在设备上实现Llama 2。模型在设备上运行，开发者不仅可以降低其应用的云计算成本，还可以为用户提供更高程度的隐私保护，因为没有数据在设备外流传。

在设备上运行模型可以实现无需连接互联网即可使用生成式人工智能。此外，模型还可以根据用户的偏好进行个性化，因为它“生活”在设备上。Llama 2还可以与QualcommAI堆栈完美结合，该人工智能堆栈是一套用于进一步优化在设备上运行人工智能模型的开发者工具。

Qualcomm的技术、规划和边缘解决方案业务的高级副总裁和总经理Durga Malladi表示：“我们赞赏Meta对开放和负责任人工智能的态度，并致力于通过在设备上引入生成式人工智能来推动创新并降低任何规模的开发者的使用障碍。”

Qualcomm以前也与Meta有过密切合作，主要为其Oculus Quest虚拟现实头戴设备制造芯片。该公司还与微软合作，帮助扩展设备上的人工智能工作负载。作为与Qualcomm和英特尔、AMD和NVIDIA等其他芯片制造商的合作的一部分，微软推出了新的混合AI Loop工具包，支持边缘的人工智能开发。整体来看，边缘人工智能硬件和软件生态系统正在朝向边缘人工智能发展，而Llama 2可能扮演的角色比任何人预想的都更重要。

似乎Meta从第一代LLaMA模型泄漏事件中学到了很多。虽然大型语言模型的第一版仅供研究人员和学术机构使用，但模型及其权重在4chan上通过网络泄漏出来。这引发了以LlaMa为基础模型的开源大型语言模型创新的爆发。

在发布不到一个月的时间里，开源社区已经使LLaMA在各个方面都有所改进。斯坦福大学的研究人员创建了一种只需花费600美元就能训练的LLaMA版本，这进而促进了其他更快、更小的版本的开发。这些版本中的大多数都可以在设备上运行，让全世界的人都可以访问他们自己的大型语言模型。

有一位开发者将大型语言模型移植到C++，结果得到了一种可在手机上运行的模型版本。这个名为LLaMA.cpp的项目得到了开源社区的推动，使得模型的权重被量化。这种创新使其能够在Google Pixel 5上运行，尽管每秒只能生成1个token。

作为与Meta的最新合作的一部分，Snapdragon可能会获得有关该模型内部工作原理的信息。这将使芯片制造商能够进行某些优化，使Llama 2比其他型号运行得更好。考虑到2024年的发布时间，Qualcomm很可能会探索其他合作伙伴关系，以配合其Snapdragon 8 Gen 3芯片的发布。

开源社区肯定会为完全开放的Llama 2做出自己的贡献。当结合了边缘人工智能的巨大行业势头之后，此举是支持充满活力的边缘人工智能生态系统的首个举措。

 

来源：https://analyticsindiamag.com/meta-qualcomm-partnership-will-bring-llama-2-to-the-masses/