Nature Photonics：神经形态光子学

撰稿 | Blair（西湖大学，博士生）

由于光子集成平台上光电组件的集成度不断提高，近年来光子计算的研究蓬勃发展。光子集成电路不仅能极大地加快人工神经网络的处理速度，同时也为新型信息处理机器提供了新的架构。

在光子集成电路硬件上运行的算法不仅有潜力满足医疗诊断、通信以及高性能和科学计算等领域对机器学习和人工智能不断增长的需求，同时能够处理神经形态电子学（类脑电子学）的发展中遇到的以处理器延迟问题为代表的一系列的挑战。

基于光子学实现神经形态计算（类脑计算）在将单个计算操作的时间压缩到亚纳秒级的同时，也为未来人工智能计算提供了全新的机遇与可能。

近期，来自加、美、德、英的顶尖科学家回顾了神经形态光子计算系统的最新进展，讨论了其当前和未来发展面临的挑战，并概述了应对这些挑战所需的科学和技术方法。该综述以 Photonics for artificial intelligence and neuromorphic computing 为题发表在 Nature Photonics。

图1. 神经形态光子学概述. 图源：Nature Photonics 15, 102 (2021). (Box. 1)

传统上计算机是基于冯·诺依曼架构（即具有中央处理器和独立的内存）进行组织的，这种结构适合于运行序列的、数字的、基于过程的计算任务。而对于分布式、大规模、并行和自适应的计算任务，尤其是用于人工智能神经网络的计算模型，这种架构的效率很低。

人工智能算法要以高准确率、低延迟高效地处理人类任务，这对传统计算机提出了很大的挑战。

基于神经网络、以分布式方式处理信息并根据输入的数据自我训练（而不是由程序员明确设计）的机器学习算法已经在棋类比赛、电子竞技、语音图像识别等诸多领域取得了一系列重大成就，并已对我们生活的许多方面产生了影响，其应用包括从语言翻译到癌症诊断、从智能制造到无人驾驶、从虚拟助理到机器人等方方面面。

面向未来，传统计算架构提升空间有限，已经力不从心，在这样的背景下，神经形态计算作为下一代计算架构应运而生。

神经形态计算（类脑计算）系统是借鉴人脑信息处理方式，打破“冯·诺依曼”架构束缚，针对实时处理非结构化信息而设计的具有自主学习能力的超低功耗新型计算系统。

神经形态计算（类脑计算）工程是根据机器学习和人工智能算法的特性、模拟人脑对信息的处理方式来定制芯片结构的系统工程，其将硬件与算法进行匹配可以实现更快、更节能的计算。同时，神经形态硬件还可以应用于机器学习之外的问题，例如机器人控制、数学编程和神经科学假设测试。

与传统冯·诺依曼计算架构相比，神经形态计算系统（类脑计算）在很大程度上依赖计算单元（即神经元）之间的大规模并行互连。因此，如果通过电子学来实现神经形态计算，就必须使用某种形式的共享数字通信总线，该总线通过时分多路复用来实现互连，从而不得不牺牲了带宽。因为光子具有玻色子的特性，多个光路可以并行叠加而并不会相互干扰串行，所以光学互连可以依然保持极大的带宽，因此有望极大地加速机器学习和神经形态计算。

图2. 光学神经突触(a)和光学神经元(b)的实现. 图源：Nature Photonics 15, 102 (2021). (Fig. 1, 2)

尽管光已经被普遍作为电信和数据中心的通信介质（如光纤），但还没有广泛应用到信息处理和计算中。这是因为光电组件在通信方面特性与数字电路的要求不符。

但是，像神经网络这样的非数字计算模型可能在光子学中实现更有优势。因为神经形态光子处理器的目标不是要取代传统的计算机，而是要实现传统计算技术目前无法实现的低延迟，高带宽和低能耗的计算任务。

超快速神经网络的典型应用包括：

基本物理突破：量子比特读出分类，高能粒子碰撞分类，聚变反应堆等离子体控制。

非线性规划：求解非线性优化问题（机器人，自动驾驶汽车，可预测的控制）和偏微分方程。

机器学习加速：矢量矩阵乘法，深度学习推理，超快机器学习。

智能信号处理：宽带射频信号处理，光纤通信。

得益于光子强大的互连性和线性操作，光子电路非常适合神经网络的高性能实现。成对的人工神经元之间的连接可以由标量突触权重（一个主存储元件）来实现，因此互连的布局可以表示为矩阵-向量运算，其中每个神经元的输入是加权后的连接输出的点积神经元。

光信号可以通过可调谐波导元件传输而倍增，并且可以利用波分复用（WDM）通过半导体中载流子的积聚来增强。神经网络需要相对长距离的连接以执行分布式信息处理。电子电路中的金属线连接与光子波导相比，光信号的衰减比电信号小，并且产生的热量更小。

更重要的是，波导没有电感或趋肤效应，这意味着对于神经互连远程连接中与频率相关的信号失真最小。目前的电子点对点连接利用了传输线和主动缓冲技术。

但是，神经网络不是基于点对点链接，而是包含大量并行信号输出和输入。因为对于每个物理连接都使用最新的传输线和主动缓冲技术是不切实际的，所以为了避免电子布线的缺点，神经形态电子体系结构采用了数字时分复用技术，它可以牺牲带宽来构建更大的神经网络。

但是，对于无人驾驶、智能制造等许多计算任务而言，高带宽和低延迟至关重要，因此只有直接、非数字的光子互连才能满足这些应用。

图3. 基于可激发激光器和谐振器实现神经脉冲. 图源：Nature Photonics 15, 102 (2021). (Fig. 3)

长期以来，光学一直被认为是实现矩阵乘法和互连的最有前途的媒介。神经网络的光学实现方法是由Psaltis和Farhat于1985年前提出的。今天，随着微纳制造工艺的进步，社会对计算出现了新的需求，为光子神经网络的应用创造了新的可能。

第一个因素是硅光子学工艺的进步为神经形态计算的硬件实现提供了可能。

硅光子平台可以容纳高质量无源器件以及高速有源光电器件，所有这些器件都具有极高的集成密度。2014年，研究人员提出了关于可扩展硅光子神经网络的想法，并于2017年与其他硅光子神经形态架构同时被实验实现。研究人员找到了克服用于校准和控制的片上硅电子产品组件灵敏度的途径，而片上光电子学的进步也提供了实现级联和非线性的途径。

第二个因素是神经形态光子计算的能力效率很高，相比于传统计算很有优势。

神经形态光子系统提供的计算能力越来越高，每秒每平方毫米的处理速度可以具有拍MAC（乘法累加运算），而每个MAC能量效率可以达到阿焦。尽管光子学比电子学在连接性和线性操作方面提供了优势，但其他方面（例如在片上存储器中存储和读取神经元权重）面临着新的挑战。尽管包括存内计算的各类光学存储器已经进行了深入的研究，但是它们通常无法高频读写。未来可扩展的神经形态光子处理器需要将电子产品与潜在的混合电子和光学存储架构紧密集成，并根据应用和其在数字或模拟域中的存储类型（易失性与非易失性）进行设计。

展望

图4. 神经形态光子处理器架构. 图源：Nature Photonics 15, 102 (2021). (Fig. 5) 图译：撰稿人 Blair

神经形态光子学的核心是创造出与神经网络同构的光电子硬件，通过神经网络算法和光电子硬件的高度匹配，由此产生的光子神经网络具有高效的计算能力、低延迟、低能耗，并可以利用现有的算法方法进行编程和训练。

近年来，光子神经网络的研究激增，各种神经元模型、训练技术和拓扑的架构概念和实现方式已经在研究中。

面向未来，学术界仍然需要进行持续的研究来扩展集成在单个网络中的神经元的数量，从而实现电子器件、光学器件和光源的共同封装。随着可编程光子的现代集成平台、片上级联和非线性的新思想和新器件的发展，神经形态光子学有望在未来的机器学习和信息处理方面发挥巨大的作用。

本文作者Paul R. Prucnal与Bhavin J. Shastri还是教科书《神经形态光子学》(Taylor & Francis, CRC Press, 2017)的合著者，想要进一步学习的读者朋友可以阅读该书。（该书链接>>>）

论文信息：

Shastri, B.J., Tait, A.N., Ferreira de Lima, T. et al. Photonics for artificial intelligence and neuromorphic computing. Nat. Photonics 15, 102–114 (2021). https://doi.org/10.1038/s41566-020-00754-y

论文地址：

https://doi.org/10.1038/s41566-020-00754-y

论文传送门在此，请进>

编辑 | 赵阳

欢迎课题组投递成果宣传稿

转载/合作/课题组投稿，请加微信：447882024

带您每天读1篇文章！加入>Light读书会