在当前的人工智能（AI）领域中，大型语言模型（LLMs）引起了人们的关注，导致人们争相创建越来越大的神经网络。然而，并非所有应用都能支持非常庞大的深度学习模型对计算和内存需求。

这些环境的限制导致一些有趣的研究方向。麻省理工学院（MIT）计算机科学与人工智能实验室（CSAIL）的研究人员开发了一种新型的深度学习架构，称为液体神经网络，为某些AI问题提供了一种紧凑、适应性强和高效的解决方案。这些网络旨在解决传统深度学习模型固有的挑战。

液体神经网络在人工智能领域可以带来新的创新，尤其在传统深度学习模型存在困难的领域，如机器人技术和自动驾驶汽车中，其应用前景尤其令人兴奋。

什么是液体神经网络?

液体神经网络的灵感来自于对现有机器学习方法的思考，以及如何将其与机器人和边缘设备所提供的安全关键系统相结合。麻省理工学院CSAIL主任Daniela Rus告诉VentureBeat：“在机器人上，你无法运行一个庞大的语言模型，因为计算能力和存储空间都不足。”

Rus及她的合作者希望创建既准确又计算高效的神经网络，以便能够在机器人的计算机上运行，而无需连接到云端。

同时，他们在生物学上对小型生物中的神经元进行研究时得到了启发，比如蠕虫，这些生物仅凭302个神经元就能完成复杂的任务。他们的工作成果就是液体神经网络（LNN）。

液体神经网络与传统的深度学习模型有着显著的区别。它们使用的数学表达式计算成本较低，并可在训练过程中稳定神经元。液体神经网络的高效性在于其使用了动态可调的微分方程，使其在训练后能够适应新的情况。这是典型神经网络所不具备的能力。

Rus表示：“我们的做法基本上是通过两种洞察力增加了一个神经元在现有模型上的表示学习能力。第一个是一种良好的状态空间模型，在学习过程中增加了神经元的稳定性。然后我们在突触输入上引入非线性，以增加我们的模型在训练和推理过程中的表达性。”

液体神经网络还使用了一种与传统神经网络不同的布线结构，可以在同一层内进行横向和递归连接。这种基础的数学方程和新颖的布线结构使液体网络能够学习连续时间模型，从而可以动态调整其行为。

Rus表示：“这个模型非常有趣，因为它能够根据输入进行训练后的动态调整。它所观察到的时间常数取决于其接收到的输入，因此我们通过这种神经元的组成方式获得了更高的灵活性和适应性。”

液体神经网络的优点

LNNs最显著的特点之一是其紧凑性。例如，一个经典的深度神经网络需要大约10万个人工神经元和50万个参数来执行一项任务，比如让汽车保持在车道上。相比之下，Rus和她的同事们只用19个神经元就能训练LNN完成同样的任务。

Rus表示，这种显著的缩小有几个重要的后果。首先，它使模型能够在机器人和其他边缘设备中的小型计算机上运行。其次，随着神经元的减少，网络变得更容易解释。可解释性是人工智能领域的一个重大挑战。使用传统的深度学习模型，很难理解模型是如何做出特定决策的。

Rus表示:“当我们只有19个神经元时，我们可以提取一棵决策树，它与放电模式相对应，本质上是19个神经元系统中的决策流。”“我们不能为10万或更多的人这么做。”

LNNs解决的另一个挑战是因果关系问题。传统的深度学习系统常常难以理解因果关系，导致它们学习到与正在解决的问题无关的虚假模式。另一方面，LNN似乎对因果关系有更好的把握，使其能够更好地概括到看不见的情况。

例如，麻省理工学院CSAIL的研究人员训练了LNN和其他几种类型的深度学习模型，用于在夏天的树林里拍摄的视频帧流上进行目标检测。当训练好的LNN在不同的环境中进行测试时，它仍然能够以很高的准确率执行任务。相比之下，当设置改变时，其他类型的神经网络的性能会显著下降。

Rus说:“我们观察到，只有液体网络能够在秋季和冬季完成任务，因为这些网络专注于任务，而不是任务的背景。”“其他模型没有成功解决这个任务，我们的假设是，这是因为其他模型在很大程度上依赖于分析测试的背景，而不仅仅是任务本身。”

从模型中提取的注意图显示，LNN对任务的主要焦点(如驾驶任务中的道路)和目标检测任务中的目标物体给予了更高的值，这就是为什么它可以在上下文变化时适应任务。其他模型倾向于将注意力分散到输入的无关部分。

Rus说:“总的来说，我们已经能够实现更多的适应性解决方案，因为你可以在一个环境中训练，然后这个解决方案无需进一步训练，就可以适应其他环境。”

液体神经网络的应用与局限性

液体神经网络主要设计用于处理连续数据流。这包括视频流、音频流或温度测量序列等各种类型的数据。

Rus表示：“通常情况下，液体网络在处理时间序列数据时表现良好……液体网络需要一个序列才能发挥良好的作用。然而，如果你试图将液体网络解决方案应用于像ImageNet这样的静态数据库，那效果可能就不会那么好。”

液体神经网络的性质和特点使其特别适合计算资源受限和安全关键应用领域，如机器人技术和自动驾驶车辆，这些领域中数据不断被馈送给机器学习模型。

麻省理工学院CSAIL团队已经在单个机器人环境中对液体神经网络进行了测试，并展示了令人期待的结果。未来，他们计划将测试扩展到多机器人系统和其他类型的数据，以进一步探索液体神经网络的能力和局限性。

 

来源：https://venturebeat.com/ai/how-mits-liquid-neural-networks-can-solve-ai-problems-from-robotics-to-self-driving-cars/