深度全息：全息与深度神经网络的相遇

撰稿 | 郑珊珊、张翔宇

说明 | 本文来自论文作者（课题组）投稿

随着数学优化和计算硬件的迅猛发展，深度神经网络（Deep Neural Networks, DNN）（名词解释>）已然成为解决各领域中许多挑战性问题的强大工具，包括决策、计算成像、全息技术等。

自1947年发展至今，全息（holography）（名词解释>）已成为一项重要而广泛的技术，在光学工程的各个领域都有应用，包括光学成像、显微、计量、三维（3D）显示等。全息意为包含光波的全部信息（名词解释>），在物理上分为两个过程：波前的记录与重建，这两个过程都可以通过光学或数字的方法来实现。

目前，全息术和深度学习这两个不同的领域已经相互融合，形成了一个新兴的跨学科领域——深度全息。

近期，来自中国科学院上海光学精密机械研究所的司徒国海研究员以 Deep holography 为题在 Light: Advanced Manufacturing 发表一篇综述文章，对深度全息的进展进行了全面的文献回顾，论述了全息(holography)和深度神经网络(DNN)之间的相互促进关系。

● DNN 已被证明在全息重建和计算机生成全息（computer-generated Holography, CGH）中的各个方面几乎都有应用；

● 全息具有互连和光速并行处理的能力，是 DNN 光学实现，即光神经网络（optical neural networks, ONN）（名词解释>）的有力工具之一。

文中首先简要介绍了DNN的基本理论和架构，然后讨论了深度全息术的一些重要进展与研究趋势，最后对其未来前景进行了展望。希望此篇综述能够促进此领域的进一步发展。

深度神经网络：简明介绍

DNN 的概念架构如 图1 所示，前馈神经网络，或称多层感知器（MLP）有一个输入层，一个输出层，以及一个或多个隐藏层。每层可以有不同数量的神经元，称为感知器；而每个单元从上一层接收其输入的加权和（除了第一层，其输入是待 NN 处理的原图）。前馈神经网络的目标是优化一个 NN 模型以逼近一个连续函数，利用原始数据通过训练学习到网络参数，即可实现从输入空间 x 到输出空间 y 的映射。

图1. DNN的概念架构（图源：Light: Advanced Manufacturing）

相比于传统的基于物理学的全息技术，DNN 方法已被证明拥有独特的优势。只要有足够多的数据，DNN 就可以从较低层次特征组成的较高层次结构中学习特征，但它不能明确表述系统的确切物理性，导致方法的泛化性和可解释性受到很大的挑战。

因此，我们非常希望能同时发挥 DNN 和物理模型的优势，开发出基于物理学信息的DNN（Physics-informed DNN）。

● 物理融合（physical fusion），或单次物理的 DNN

它直接将物理模型的解作为 DNN 模型输入的（一部分）。

● 残差物理（residual  physics），或递归物理信息 DNN

将物理解决方法添加到 DNN 的输出中，这样 DNN 模型只需要学习基于模型的解决方法和真实情况之间的不匹配。

● 正则化物理（physical  regularization），或级联物理信息 DNN

利用一组物理约束条件中的正则化项来惩罚网络解决方法。正则化项可以作为损失函数的一部分或通过物理重建过程。  

● 嵌入物理（embedded physics）DNN

如 图2 所示，其中心思想是将物理模型纳入网络优化循环中。

图2. 嵌入物理的DNN的典型架构（图源：Light: Advanced Manufacturing）

● 网络近似物理学

顾名思义，就是通过使用 DNN 来近似物理模型。

全息重建

全息图可以看作是物光和参考光束的叠加。全息重建的直观方法是基于衍射的物理模型，即波衍射过程的数值计算。离轴全息可以通过空间滤波解决，但空间滤波会带来高频成分的损失，这大大阻碍了重建的图像质量。而对于同轴全息，零阶的去除相对简单，因此对同轴全息重建的研究大多是处理孪生项。

物理上，孪生图像实际上是重建的物体图像的失焦副本，它可以通过减去失焦图像来消除。目前，应用最广泛的策略是调整光学系统的一些物理参数并获得相应的全息图，以便建立一个小型的线性方程组，将所记录的全息图与调谐参数联系起来，进而求解得到物体波前。

数学上， 孪生图像伪影的产生是由于当全息图被记录下来时，相位的缺失导致了这一现象。这表明，如果全息图的缺失相位能够得到解决，那么双孪生图像伪影就可以得到解决。

受DNN启发的全息术

1）最直接的方法：“端到端” DNN

利用 ResNet 和 U-Net 开发出的 eHoloNet：接收原始的数字全息图作为输入，并产生无伪影的相位物体波前；

Y型网络架构：从单个数字全息图中同时重建强度和相位；

也可通过生成对抗网络（GAN）实现，训练数据不需要配对。

2）物理融合，或单次物理的 DNN

利用传统的数值自由空间传播回目标平面，再将重建波前的振幅和相位分别发送到DNN中，通过训练去除所有这些伪影。

3）物理嵌入的 DNN

如 图3 所示，将物理成像模型纳入传统 DNN，该策略有两个明显优势：首先，它不需要任何数据来进行预训练；其次，重建后的图像满足由物理模型所施加的约束，它是可解释的。

PhysenNet 中的 DNN 模型可以由其他神经网络取代，这取决于手头的任务。例如，已有研究人员成功将相位成像模型纳入 GAN 网络。

图3. 纳入物理模型的DNN示意图：相位成像（图源：Light: Science & Applications, 9:77(2020).）

此外，DNN 方法也可用于解决其他与全息有关的各种问题，例如相位解包裹、自动对焦、相位畸变补偿、散斑抑制、计算机生成全息（CGH）。

受全息技术启发的DNN

全息技术是实现光学神经网络（ONN）的重要途径之一。

早期的研究包括全连接神经网络的光学实现和 Hopfield 模型，它是循环神经网络（RNN）的基础。全息神经网络不是像数字神经网络那样使用逻辑神经元，它依靠的是全息图本身所具有的互连。 在完全连接的全息神经网络中，权重被存储在全息图的像素（神经元）中。一层（全息图）中的每个神经元对从上游层照射到它身上的光进行简单的调制，然后照亮下游的层。全息神经网络可以通过光折光晶体实现，它本身就是个三维设备，有可能存储数十亿的权重数据。 因此，它在原则上有希望解决大规模的逆向问题。

图4. 衍射深度神经网络示意图
（A）D²NN 包含多个透射（或反射）层，其中，层上的每个点都充当神经元，具有复值的透射（或反射）系数，每层的透射或反射系数可以使用深度学习来训练，从而在网络的输入和输出平面之间执行一个功能。在学习阶段之后，D²NN 的设计是固定的；一旦它被制造或 3D 打印出来，它就能以光速执行所学的功能。不同类型的衍射深度神经网络：（B）分类和（C）成像。（图源：Science,361(2018)）

全息神经网络的现代实现方式利用了衍射的优势，并因此被命名为衍射深度神经网络（D²NN），如 图4 所示。 在硬件实现中，D²NN 中的全息图实际上是衍射光学元件（DOE），它可以通过 3D 打印、纳米技术、或电动可寻址数字微镜设备（DMD）得到。与许多其他的光学神经网络一样，最初的 D²NN 是离线训练的。为了实施更好的训练策略，研究人员已经做出了许多努力，例如通过从欧氏空间到黎曼空间的梯度转换来更新单元权重的反向传播技术、实现光学分组的方法等。人们还研究了 D²NN 在逻辑运算、光学信息处理、全息重建、脉冲整形、光谱编码的单像素机器视觉等方面的应用。

总结与展望

全息与神经计算之间的相互融合大大推动了彼此的发展，也给我们提供了可以探索的奇妙领域。

对于受 DNN 启发的全息术来说，文中讨论了纳入物理信息的五种不同方式，并展示了它们在解决与全息有关的各种问题的应用。

● 除了尝试不同的 DNN 架构，一个重要的趋势是将物理模型纳入 DNN 模型。这个想法已经得到了不同领域的研究人员的密切关注。

● 嵌入物理模型的 PhysenNet 优势明显，但其优化速度较慢，对轻量级的网络结构和更有效的训练算法提出了要求。

● 综合利用物理先验和传统数据驱动方法的优势，使得训练可以更有效，提高泛化性，增加可解释性。

对于全息技术启发的 DNN，大多数研究迄今发表的大部分研究都集中在光学推理方面。 全息神经网络的光速并行处理能力确实保证了强大的推理能力，甚至超过了 Nvidia 的顶级产品 Tesla V100 张量核心 GPU 在某些任务中的表现。

● 为了让光学的优势可以得到充分发挥，需要以光学方式对网络进行在线训练，有许多可能性来有效实现 DNN 中的大多数基本功能。 

● 依靠新型光学材料和设备的发展，可以在亚波长尺度对波进行高速调制，提高D²NN 的性能。

● 神经计算的快速发展，为我们提供了更多强大的算法，比如尖峰神经突触网网络(SNN)，可以模拟大脑的行为和学习潜力。这些新算法在全息技术中的适用性和潜力以待挖掘。

论文信息

Situ. Light: Advanced Manufacturing (2022)3:13 

http://doi.org/10.37188/lam.2022.013

欢迎课题组投稿——新闻稿

转载/合作/课题组投稿，微信：447882024

带您每天读1篇文献！加入>Light读书会