ChatGPT吸引了人们的目光,与此同时人们也开始探索生成式人工智能如何在我们的日常生活中发挥作用。在后端,科学家们正在不断推进人工智能的潜在应用,其应用范围相当广泛,涉及到了我们生活的方方面面。
在最近发表在《机器学习研究杂志》上的研究中,香港中文大学数学研究助理教授Fenglei Fan博士、Purdue大学数学系教授Rongjie Lai;Clark&Crossan Endowed讲座教授Ge Wang发现,分析人工神经网络的拓扑结构揭示了如何在未来最好地利用人工智能的力量。
就像拓扑图一样,为人工智能提供动力的技术有三个维度。人工智能界的热门话题ChatGPT是一个有多层的深度神经网络,也被称为深度学习算法。Wang和他的合作者发现,网络宽度(指一层神经元的数量)也起着重要作用。
有趣的是,他们发现一种类型的网络可以转换为另一种类型来完成给定的任务,例如回归或分类,这是机器学习的关键元素。(机器学习是人工智能的一个子集,可以在没有明确指令的情况下进行计算机生成的预测。)换句话说,深度神经网络可以转换为宽度神经网络,反之亦然。
Wang说:“在这项技术的早期,科学家们专注于非常宽和浅的网络(一到两层),以进行万能近似。”。“后来,深度神经网络(许多层以前馈方式工作)被证明是非常强大的。然而,我们并不完全相信重点应该只放在深度学习上。我们觉得深度只是一个维度,宽度是另一个维度,两者都需要考虑和兼顾。”
在他们的研究中,研究小组考虑了深度和广度神经网络之间的关系。通过定量分析,他们发现深度和宽度的网络可以在连续体上来回转换。同时使用两者可以提供更全面的视角并避免偏见。
他们的研究暗示了机器学习的未来,在机器学习中,网络既有深度又有宽度,并且具有良好的动态性和优化的宽度与深度比率。网络将变得越来越复杂,当动态达到所需状态时,它们将产生惊人的结果。
“这就像玩乐高积木,”Wang说。“你可以建造一座非常高的摩天大楼,也可以建造一栋在同一层有许多房间的扁平的大型建筑。对于网络来说,神经元的数量及其相互连接方式是最重要的。在3D空间中,神经元可以以多种方式排列。这就像我们大脑的结构一样。神经元只需要以各种方式相互连接,就可以完成不同的任务。”
Lai说:“理解神经网络的深度和宽度之间的转换仍然是一个动态和不断发展的领域。”“宽度网络和深度网络都有其独特的优点和缺点。一般来说,浅层网络更易于理解。我们对这两种网络类型固有对称性的探索揭示了通过宽度网络来理解深度网络的新视角。”
Rensselaer工程学院院长Shekhar Garde博士说:“Wang博士对宽深度神经网络关系的研究为利用人工智能的潜力开辟了新的途径。”“人工智能几乎影响着我们社会的方方面面,从医学到新材料再到金融。这对这个领域来说是一个激动人心的时刻,Wang博士站在了这个问题的前沿。”