减少人工智能的能源消耗

2020年01月06日由 TGS 发表 207611 0

人类大脑的运作，有一个“生长和修剪”的策略，最初，是从大量的神经连接开始，然后随着时间的推移修剪掉未使用的连接。前段时间，一个人工智能研究小组将这种方法应用到人工智能系统中，发现它可以大大减少训练人工智能所需的能量。

普林斯顿大学的一组研究人员发明了一种训练人工智能系统的新方法。能够达到行业标准的同时，消耗更少的计算能力，更少的能量，比传统的机器学习模型环保许多。在两篇论文中，普林斯顿大学的研究人员展示了如何通过增加神经元和连接来构建网络——随着时间的推移，未使用的连接被修剪掉，只留下模型中最有效的部分。

研究人员开发的模型采用了“行-修剪”模式。普林斯顿大学电气工程教授，Niraj Jha解释说，人类大脑在三岁左右是最复杂的，之后，大脑就开始修剪不必要的突触连接。结果是，发育完全的大脑能够完成许多复杂任务，但它工作时使用的突触只约占其峰值时所有突触的一半。研究人员通过模仿这种形式，加强了人工智能的训练。

由于这种“生长和修剪”技术，只需使用以前需要的计算能力的一小部分，就可以对数据中的模式做出同样好的预测。研究人员的目标是找到降低能耗和计算成本的方法，因为这样做是将机器学习引入手机和智能手表等小型设备的关键。此外，减少机器学习算法所耗能量也可以帮助该行业减少碳足迹。论文的第一作者补充说：“模型需要在本地进行训练，因为传输到云需要大量的能量。”

开发过程中，研究人员试图开发一个神经网络创建工具，想用它来设计神经网络，并从头创建一些性能最好的网络。这一工具被称为神经网络合成工具(NeST)，当它只提供少量的神经元和连接时，就会通过向网络中添加更多的神经元而迅速增加复杂性。

一旦网络达到了选定的基准，它就开始随着时间的推移而自我修剪。传统网络模型也使用了一些修剪技术，但不同的是，普林斯顿大学的方法是第一个，使用网络模拟从“婴儿大脑”到“幼儿大脑”再到“成人大脑”的发展阶段的方法。

标签：

行业人工智能训练

0 评论

欢迎关注ATYUN官方公众号

商务合作及内容投稿请联系邮箱:bd@atyun.com

上一篇人造肌肉软体机器人昆虫

下一篇问：人类是先被AI搞死，还是搞AI的先死？

评论登录

要发表评论，您必须先登录。

jonatasgrosman/wav2vec2-large-xlsr-53-english facebook/dino-vitb16 bert-base-uncased xlm-roberta-large xlm-roberta-base gpt2 microsoft/resnet-50 facebook/dino-vits8

Sam Altman离职事件时间线