Light | 超构表面片上多任务智能感知

注：本文由论文作者投稿

| 导读 | 

自图灵测试被提出以来，人类一直都希望制造出像人脑一样思考、具有自我意识的智慧机器，即人工智能。作为一种人工智能的核心计算框架，电子人工神经网络已经在诸多领域广泛应用，比如人脸识别、语音识别、智能制造和临床诊断等。不过，集成电子电路的算力慢慢接近其物理极限。

光子代替电子，是实现高速、大规模并行和低功耗人工智能计算的一个很有潜力的途径。最近，由级联的相位面元件组成的全光衍射神经网络已经实现多种机器学习的复杂功能。然而，现有的架构往往工作在非光学波段且由笨重的部件组成，最关键的是，它们不能模仿人脑进行多任务处理。

鉴于此，近日，湖南大学科研团队联合德国斯图加特大学、同济大学等机构的科研人员，提出了一种基于超构表面的全光衍射神经网络，它可以在可见光下执行多通道传感和多任务处理。

研究团队利用亚波长超构表面单元的偏振复用方案构建多通道分类器的框架，实现了对手写数字和时尚物品的并行识别。超构神经元的面密度达到6.25×10⁶/mm²，并随着通道数成倍增加。此外，超平超薄的超构表面器件与 CMOS 图像传感器 3D 集成，提供了一个芯片级的多任务智能传感新架构，可以直接在物理层处理光学信息，有望应用于机器视觉、自动驾驶和精准医疗中的低功耗和快速的图像处理。

该成果以“Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible”为题发表在 Light: Science & Applications。

湖南大学硕士毕业生罗栩豪同学和胡跃强副教授为该工作共同第一作者，通讯作者为湖南大学胡跃强副教授和段辉高教授。该工作得到德国斯图加特大学刘娜教授、湖南大学潘安练教授和同济大学程鑫彬教授的指导。该项目在国家自然科学基金委、湖南省自然科学基金委、深圳市科技创新委员会和摩擦学国家重点实验室等机构的资助下完成。

人工智能（AI）是一种模拟和扩展人类智能的技术，其中人工神经网络（ANN）是在电子设备中实现的最广泛的框架之一。ANN 以数字方式抽象地学习数据并快速执行某一个特定单一任务，如图像识别、语音识别等。然而，人脑作为一个多通道系统工作，包括视觉、听觉、嗅觉、味觉和触觉，甚至视觉系统本身还包含了多个子通道，如图1所示。

图1 多通道的人类感知系统

因此，为了实现类人脑的通用人工智能（AGI），不同的能力需要在一个人工智能系统中被复用（multiplexing）形成多技能AI（multi-skilled AI，扩展阅读：multi-skilled AI 入选MIT Technology Review “十大突破性技术” ），这在智能家居、自动驾驶和体感交互中具有广泛的应用潜力。同时，复用的人工智能系统可大大增加计算规模和并行维度。

光学神经网络（ONN）由于其与电子神经网络相比具有高速度、高并行性和低能耗的特点而备受关注。作为光学神经网络中的一种，全光衍射神经网络可以通过训练衍射相位面构成级联的物理网络，执行特定功能。尽管如此，现有的衍射神经网络设备，像传统的神经网络一样，不能进行多路信息处理。此外，它们通常是在大波段实现的，具有笨重的光源和探测器；全光计算的优势也无法与成熟的CMOS图像传感器芯片结合以模仿视觉系统进行图像处理。

鉴于上述问题，研究人员提出了偏振复用的超构表面衍射神经网络（MDNN），并将其与 CMOS 图像传感器集成，创建了可见光下的片上多任务处理架构。

如图2所示，该物理架构主要由三部分组成，即由承载待识别物体信息的偏振平面波（比如，X偏振下的手写数字和Y偏振下时尚物品）作为输入层，由双折射纳米柱作为神经元构成的偏振复用的超构表面层作为隐含层，以及 CMOS 芯片上图像传感器的探测区域作为输出层。其中，每个偏振通道下超构神经元的相位分布是网络需要训练的参数，根据惠更斯-菲涅尔原理，在计算机上通过误差反向传播和随机梯度下降算法获得。输出层的整个探测区域被划分为多个小的区域，每一个对应一个分类目标，如果预期区域的强度高于其它所有区域，就认为识别是成功的。

图2 超构表面赋能的片上复用衍射神经网络工作原理

研究人员通过电子束直写套刻等工艺制作了一个单隐含层的偏振复用超构表面衍射神经网络的器件，以验证其双通道识别能力及衍射传播特性。图3a显示了加入一层包覆层后的两组输入掩模（手写数字 "0 "和 "1"，以及时尚物品 "T恤 "和 "运动鞋"）作为网络的输入层，和最终加工完成的器件的光学显微图像。图3b显示了该器件的俯视、斜视和截面的扫描电子显微镜（SEM）图像。

图3 偏振复用超构表面衍射神经网络的加工。
（a）掩模输入层和制备完成的MDNN器件；
（b）MDNN器件的俯视、斜视和截面的扫描电子显微镜（SEM）图像

最后，研究人员将能够执行复杂识别任务的偏振复用的超构表面衍射神经网络与一个商业 CMOS 传感器芯片集成在一起，形成一个超紧凑的多通道传感和计算一体的芯片架构（图4a-c）。通过从仿真识别正确的图像集中选择 160 组统计其性能，发现对于手写数字和时尚产品，实验和仿真上的匹配度分别达到了 93.75% 和 95%。

图4 片上集成的偏振复用超构表面衍射神经网络的实验结果。
（a）MDNN芯片集成示意图；
（b）MDNN芯片实物图和（c）局部放大图；
（d）MDNN芯片在两个偏振通道识别不同字母和时尚物品的结果；
（e）识别的统计结果。

该工作通过理论和实验展示了基于偏振复用超构表面的全光衍射神经网络，其可以在可见光波段执行多通道的识别任务。利用超构表面的超平超薄特点，研究人员将该物理网络与 CMOS 成像传感器纵向集成，形成了小型化和便携式的感算一体芯片。

因为超构表面的制备与半导体工艺兼容，该器件有望在半导体制造厂与 CMOS 芯片一起进行大规模生产。未来，在该架构中引入可调谐超构表面及光学非线性效应，有望实现可编程或更加复杂的。作为一类新型的并行处理的机器学习芯片，超构表面神经网络器件与光学成像传感器相结合，可以广泛应用于工业视觉、自动驾驶和精准医疗等领域的低功耗和极速的图像处理，并开辟出新一代的光学多任务人工智能芯片。

| 论文信息 | 

Luo, X., Hu, Y., Ou, X. et al. Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible. Light Sci Appl 11, 158 (2022). 

https://doi.org/10.1038/s41377-022-00844-2

监制 | 赵阳

编辑 | 赵唯

阅读原文