清华大学的研究人员开发了一种全模拟光电芯片，将光学和电子计算相结合，实现了超快速和高能效的计算机视觉处理，超越了数字处理器。

计算机视觉是一个不断发展的人工智能领域，致力于使机器能够解释和理解来自世界的视觉信息，类似于人类感知和处理图像和视频。

它涉及图像识别、物体检测和场景理解等任务。通过将来自环境的模拟信号转换为数字信号，神经网络可以处理这些信号，使机器能够理解视觉信息。然而，这种模拟到数字的转换消耗了大量的时间和能量，限制了实际神经网络实现的速度和效率。

这项研究中提出的全模拟光电芯片通过在单个芯片中结合光子和电子计算，解决了这个限制，为高速和高能效的视觉数据处理提供了突破性的解决方案。这项研究的结果已经发表在《自然》杂志上，并附有对该研究工作的简要总结。

研究人员之一的吴佳敏博士解释了他们为什么将重点放在硬件方面，他说：“我们的团队一直致力于开发高效硬件解决方案，以提高人工智能进步对现实世界的影响。”

两全其美

融合光学和电子模拟计算模块是该研究的关键，因为它充分利用了光（以光子形式）和电子的优势，并以全模拟的方式进行。

这样做，研究人员解决了光学计算（基于光的计算）的实践限制，如光学非线性的复杂实现、模数转换器（ADC）的大功耗以及对噪声和系统错误的敏感性。

吴博士解释说：“首先，我们利用光学计算模块实现衍射神经网络，以高度并行的方式提取信息并减少数据维度。这一过程非常高效，可以从高分辨率的光场中提取信息。”

他继续说：“光学计算模块的输出由光电二极管阵列接收，产生光诱导光电流。这些光电流直接用于在电子模拟领域进行进一步计算。”这种无缝转换可以创建复杂的网络结构，提高整体任务性能。

模块进一步分析由光产生的电流。特别值得注意的是，它不需要将模拟信号转换为数字信号。电子电路的这种灵活性可以实现自适应和可重构的训练方法，对于提高实际性能至关重要。

研究人员成功设计了一种集成的光电处理器，称为“全模拟芯片兼具电子和光计算”（ACCEL）。

吴博士表示：“通过利用光电效应的固有的非线性和在模拟电子领域进行的数据处理，而无需进行模拟到数字的转换，所提出的全模拟光电芯片实现了比最先进的数字处理器高几个数量级的能效和计算速度。”

进行测试

研究人员进行了一系列测试，以测试ACCEL在各种任务中的分类准确性，包括识别手写数字、区分服装项目和解释草书。

ACCEL展示了在72纳秒内对高分辨率图像进行分类的能力，这是传统处理方法难以实现的成就。令人惊讶的是，尽管ACCEL的速度超过了3000倍，但能耗却比顶级GPU低400万倍。

ACCEL芯片的运用不仅限于此。它的适应性还扩展到无相干光源，使其成为一种具有超出预期应用的多功能解决方案。

吴博士说：“与高性能GPU相比，我们的全模拟光电芯片速度快了三个数量级，能效高了六个数量级。这使得它适用于工业装配线和自动驾驶等需要高速处理的应用。”

他补充说：“此外，由于其卓越的计算效率和最低限度的能量需求，我们的芯片还可以为可穿戴设备进行健康监测等便携式系统带来新的时代。这些传统上只能依靠电池供电的系统因能源受限而设备寿命受到严重限制。”

未来工作

研究人员承认，尽管全模拟光电技术展现了高功率和高效能的特点，仍有改进的空间。

吴博士解释说：“尽管ACCEL实现了快速计算速度和高能效，但该芯片的处理能力仍有改进的空间。”

未来，研究人员希望探索更高效的光电计算体系结构，以处理更复杂的计算机视觉任务，并将这项技术扩展到大型语言模型（LLM）等新的人工智能算法。

这项持续进行的研究旨在推动模拟光电技术的发展，实现未来的进步。