从某种意义上说，开源和人工智能是同时诞生的。

回到1971年，如果你向大多数人提到人工智能，他们可能会想到艾萨克·阿西莫夫的《机器人三大定律》。然而，当年人工智能已经是麻省理工学院（MIT）的一个真正的课题，理查德·M·斯托曼（RMS）加入了MIT的人工智能实验室。几年后，随着专有软件的涌现，RMS提出了自由软件的激进理念。几十年后，这个概念转化为开源，成为现代人工智能的发源地。

现代人工智能运动的开创者并非科幻作家，而是计算机科学家艾伦·图灵。图灵在1950年的论文《计算机与智能》中提出了图灵测试。简而言之，这个测试认为，如果一台机器能够欺骗你，让你误以为正在与一个人对话，那么它具备智能。

尽管一些人认为今天的人工智能已经能够做到这一点，但我不同意，我们显然正在朝着这个方向发展。

1960年，计算机科学家约翰·麦卡锡创造了“人工智能”这个术语，并在这个过程中创造了Lisp语言。正如计算机科学家保罗·格雷厄姆所说，麦卡锡的成就在于“为编程做了类似于欧几里德为几何学做的事情。他展示了，在给定了一些简单操作符和一种函数表示方法的情况下，你可以构建一个完整的编程语言。”

Lisp语言，其中数据和代码混合在一起，成为了人工智能的第一种语言。这也是斯托曼最早钟爱的编程语言之一。

那么，为什么我们在20世纪80年代没有GNU-ChatGPT呢？有很多种理论。我更倾向于的一个理论是，早期的人工智能在错误的年代有了正确的思想。硬件不足以应对挑战。其他重要的要素，如大数据等，对于真正的人工智能尚不可用。开源项目如Hadoop、Spark和Cassandra为人工智能和机器学习提供了存储和处理大量数据的工具。如果没有这些数据和对它们的快速访问，大型语言模型（LLMs）将无法运行。

如今，即使是不喜欢开源的比尔·盖茨也承认，基于开源的人工智能是自从他在1980年接触到图形用户界面（GUI）的概念以来最重要的事物。你可能还记得，正是从那个GUI概念出发，盖茨开发了一个叫做Windows的小程序。

特别是如今广受欢迎的人工智能生成模型，如ChatGPT和Llama 2，源于开源。但这并不意味着ChatGPT、Llama 2或DALL-E是开源的。他们并不是开源的。

它们本应该是的。正如早期的OpenAI投资者埃隆·马斯克所说：“OpenAI被创建为一个开源（这就是为什么我把它命名为“Open” AI）的非营利性公司，旨在作为对谷歌的制衡，但现在它已经成为一个由微软实际控制的闭源、追求最大利润的公司。这不是我当初的意图。”

尽管如此，OpenAI和所有其他的生成型人工智能程序都是建立在开源基础之上的。特别是Hugging Face的Transformer是构建当今机器学习（ML）模型的顶级开源库。它提供了预训练模型、架构和自然语言处理任务的工具。这使得开发人员可以在现有模型的基础上进行构建和微调，以适应特定的用例。特别是ChatGPT依赖于Hugging Face的库来生成其GPT LLM。如果没有Transformer，就没有ChatGPT。

此外，由谷歌和Facebook开发的TensorFlow和PyTorch也为ChatGPT提供了支持。这些Python框架为构建和训练深度学习模型提供了重要的工具和库。不用说，其他开源的人工智能/机器学习程序也是建立在它们之上的。例如，Keras作为一个高级的TensorFlow API，常常被没有深度学习背景的开发人员用来构建神经网络。

你可以对哪一个更好进行辩论，人工智能程序员也会这样做，但是TensorFlow和PyTorch都被用在多个项目中。在你最喜欢的人工智能聊天机器人背后，是由不同开源项目组合而成的。

一些顶级程序，如Meta的Llama-2，宣称它们是开源的。但事实并非如此。虽然许多开源程序员转向Llama是因为它在所有大型人工智能程序中最友好，但Llama-2并不是开源的。当然，你可以下载并使用它。它提供了预训练模型和会话微调版本的模型权重和起始代码，很容易构建基于Llama的应用程序。但在许可证中隐藏着一个微小的问题：如果你的程序在前一个日历月内拥有超过7亿活跃用户，你必须向Meta申请许可证，并且在Meta另行明确授权之前，你无权行使本协议下的任何权利。

如果你想凭借基于Llama的Virtual Girl/Boy Friend写作成为亿万富翁，可以放弃了。马克·扎克伯格会感谢你帮他挣更多的几十亿。

现在，确实存在一些真正的开源LLM，比如Falcon180B。然而，几乎所有主要的商业LLM并没有得到恰当的开源。需要注意的是，所有主要的LLM都是基于开放数据进行训练的。例如，GPT-4和大多数其他大型LLM从CommonCrawl这个包含了来自网络上的PB级数据的文本存档中获取了一些数据。如果你在公共网站上写了一些东西：在Facebook上的生日祝福、在Linux上的Reddit评论、在维基百科上的提及或者在Archives.org上的书籍，如果是以HTML形式写的，那么很有可能你的数据就在其中。

那么，在人工智能业务中，开源是否注定只能做配角，永远无法做主角？不要这么快下结论。

根据一份谷歌泄露的内部文件，一位谷歌人工智能工程师写道：“令人不安的事实是，我们没有能力赢得这场[生成式人工智能]竞赛，OpenAI也没有。在我们一直争吵的同时，第三方悄悄地吃掉了我们的午餐。”

第三方参与者就是开源社区。

事实证明，你不需要大规模的云计算环境或数千台高端GPU就能从生成式人工智能中获得有用的答案。事实上，你可以在智能手机上运行LLMs：人们正在以每秒五个LLM令牌在Pixel 6上运行基础模型。你也可以在笔记本电脑上为个性化人工智能进行微调。当你可以“在消费者硬件上在几小时内个性化语言模型”时，工程师指出，这是一件大事。

多亏了Hugging Face开源的低秩适应（LoRA）等微调机制，你可以以比其他方法更低的成本和时间进行模型微调。这样的比例有多少？一个几个小时内在消费者硬件上个性化语言模型听起来对你来说意味着什么？

谷歌开发人员补充说：

“LoRA之所以如此有效，部分原因是它像其他形式的微调一样是可叠加的。像指导调整这样的改进可以应用，然后利用其他贡献者添加对话、推理或工具使用。尽管各个微调结果都是低秩的，它们的总和并不一定要是低秩的，这意味着可以在不支付整个运行的成本的情况下廉价地使模型保持更新。”

我们神秘的程序员总结道：“与开源直接竞争是一个失败的命题...我们不应该指望能够迎头赶上。现代互联网之所以可以运行，是因为存在开源的原因。开源具有一些我们无法复制的重要优势。”

30年前，没有人梦想过一个开源操作系统能够取代类似Unix和Windows这样的专有系统。或许只需要不到三十年的时间，一个真正的开放式、全套的人工智能程序就能够击败我们今天使用的半专有程序。