eLight·封面 | 基于物理模拟的颠覆性视觉增强算法

撰稿 | 郭宸孜、蔡淼

| 导读 |

今日，美国工程院院士、加州大学洛杉矶分校讲席教授Bahram Jalali提出了一种基于物理模拟的颠覆性视觉增强技术，并将其命名为“基于虚拟衍射和相干探测的视觉增强算法（简称为VEViD）”。该算法将数字图像“隐喻”为一个空间变化的“离散化光场”，将其映射至衍射和相干探测的虚拟物理过程，以输出的相位而非强度代表图像。VEViD在低光照下展现了超强、超快的图像增强能力，极优的色彩增强能力，以及绝佳的辅助目标探测能力，对低光照条件下的成像及检测技术发展，具有重大意义。

该受邀文章发表于卓越计划高起点新刊eLight，题为“VEViD: Vision Enhancement via Virtual diffraction and coherent Detection”。作者为Bahram Jalali院士和Callen MacPhee博士，其中，Jalali院士担任一作兼通信。

图1： eLight封面

▍研究背景

低光照图像增强对于我们的生活和科学研究具有重大意义。最直观的是，它能使手机、相机夜拍更清晰，使目标识别更容易，使自动驾驶更安全；而在生物体成像中，诸多场景需要低光照以降低光毒性，但信息缺失的低光照图像给后续研究带来了极大困难。

此前的低光照图像增强技术主要依赖于经验主义或是神经网络训练形成的算法，但目前尚缺乏能够精确反映人眼感知能力的定量损失函数，因此，过往的技术最终受限于缺乏参考数据，可解释性差，难以迅速高效增强。

▍研究亮点

据此，Jalali院士提出了一种全新的图像增强范式，该范式将衍射和相干检测的物理过程作为算法的一部分，来执行计算成像任务，构成了一种图像增强工具。在研究中，研究团队将数字图像重新理解为空间变化的虚拟“光场”，然后将该场置于虚拟衍射和相干检测的物理过程中。在该过程中，光场被像素化和离散化，并且传播与频率相关的相位，并将数字图像的R-G-B三个通道理解为该虚拟光场的时频波段。最终由输出的相位，而不是强度来代表输出的图像，进行编码优化。研究团队将该算法命名为“基于虚拟衍射和相干探测的视觉增强算法（VEViD）”，其算法的物理解释和流程参见图2-图3：

图2：VEViD算法的物理解释，展示了该算法在空间域（中间行）和光谱域（底行）中的影响。在空间域中，图像的实部几乎没有变化，而虚部在衍射后产生

图3：VEViD算法流程

研究团队将VEViD算法应用于多种低光照图像，取得了绝佳的图像增强效果（图4），其效果优于Zero-DCE算法（现今性能最佳的神经网络图像增强算法），且VEViD的优化速度要更快的多。进一步，团队演示了VEViD在颜色增强中的应用（图5）。

图4：VEViD将6张黑暗图像（第一、第三栏），增强为清晰、细节丰富的图像（第二、第四栏）

图5：使用VEViD算法进行色彩增强

与此同时，团队展示了简化加速版的VEViD算法，可以对4K高清视频实现200帧/秒的图像增强。此外，VEViD算法还可叠加于现有的基于深度学习算法的目标探测中，大幅提升其探测能力（见图6-图7）。最后，Jalali院士提到，将来，该算法可以植入模拟物理器件中，帮助快速高效的计算。

图6：VEViD预处理对目标检测的影响（左侧：未采用VEViD；右侧：采用VEViD）

图7：左图为YOLO神经网络处理后图像，右图为真实场景，中图为VEViD预处理后的图像；可看出，VEViD揭示的隐藏细节与真实场景更加匹配

综合来看，该算法速度极快，可解释性高，并可以最终转化为一个简单、直观的数学表达式，为手机、相机成像，自动驾驶，生物医学成像等领域提供强大的图像增强工具，尤其对于实时性要求很高的图像增强领域（如自动驾驶），具有极其重要的价值。此外，极快的运算时间使得该算法可以作为各类深度学习图像处理算法的预处理算法，具有广阔的研究价值与应用空间。

文章发表后，完整代码将于Github公开，以便研究人员及产业人员迅速跟进。

▍后记：灵感来源与思考

在该项研究的审稿和编辑讨论过程中，Jalali院士和编辑、审稿人讨论了该文的灵感来源。

Jalali院士认为，人类很早就开始利用物理设备模拟预测天体的位置和炮弹的轨迹。在计算机出现后，绝大部分模拟计算任务都由计算机来完成。然而，电子计算机对功耗和处理速度的要求，使得利用物理过程来实现更快、更高效的模拟映射仍然具有极高的研究与应用价值。此前，已有科学家利用超快非线性光学作为模拟计算机来探测复杂现象（如异常波）。因此，将合适的物理光学过程作为模拟计算机，来实现不同领域的任务，无疑具有极高的价值与应用前景。本研究就是基于该思路，通过模拟衍射和相干探测，来实现低光照下的数字图像增强。

| 论文信息 |

Jalali, B., MacPhee, C. VEViD: Vision Enhancement via Virtual diffraction and coherent Detection. eLight 2, 24 (2022). 

https://doi.org/10.1186/s43593-022-00034-y

阅读原文