Light | 动态合成网络：“不受约束”的散射成像

散射成像

通过复杂的生物组织样本成像在医学成像等众多科学研究领域有着重要应用。然而，由于散射介质的复杂性，只有少量的光子能够不受介质的影响，直接通过散射介质被收集。而对于强散射介质，这些光子传播距离极短（比如，通过人体组织的深度大约只有1mm），无法满足当前人们对于生物医学，极端恶劣天气条件下成像的要求。其次，目前通过散射介质成像的技术对于散射介质的模型误差十分敏感，散射介质十分微小的变化（比如活体生物样本的微小移动），会导致建立的散射介质模型快速失效，从而不得不进行新的测量与建模。

近些年，日本东京大学的Ryoichi Horisaki团队（Opt. Express 2016），麻省理工大学的George Barbastathis团队（Optica 2018）提出利用基于数据驱动的机器学习方法来实现通过散射介质成像，通过利用数据的统计特性，避免对散射介质的精确建模。

2018年，美国波士顿大学田磊课题组首先提出利用大数据以及深度学习模型解决散射成像的敏感性问题。为此，提出了一种基于数据统计的 “一对多” 深度学习技（Optica 2018）。

具体来说，采集一组通过不同的散射片的散斑图，之后用该组图片对神经网络进行训练。利用神经网络的统计学习特性，学习到包含在不同散斑图中的统计信息。当训练完成，在完全替换散射片的条件下，仍然能够高质量的恢复重建物体图像。这项工作为实现高度可扩展的散射成像方法铺平了道路。然而，所提出的方法虽然能够实现通过不同散射介质成像，但与“一对一”训练相比，重建精度上仍然有一定程度的降低。

动态合成网络

鉴于此，近期，田磊课题组首次证明了一种全新的神经网络结构—动态合成网络，来实现复杂多变散射条件下的三维粒子成像。有别于之前“一对多”，增加训练样本的多样性从而实现透过不同散射介质成像的深度学习方法，新提出的网络根据不同的散射条件（比如散射粒子的折射率，大小，密度等），利用了多个子网络的动态合成实现在复杂多变散射条件下的成像。

该成果以 Adaptive 3D descattering with a dynamic synthesis network 为题发表在Light: Science & Applications。

如图1所示，利用三个编码，解码子网络对输入散射物体的特征进行提取，动态组合以及解码重建。动态合成子网络的权重由门控网络通过提取三维散射样本所对应的二维散斑图提供。由于在不同的散射条件下，对应的散斑图会有不同的性质（比如散斑图的对比度，散斑图样等），门控网络能够根据不同的散斑图特性提供不同的权重参数，从而能够自适应的动态合成相应网络以实现最佳的散射重建成像效果。

图1：动态合成网络结构示意图

有别于传统的网络结构，本文根本区别在于提出动态合成概念。如图2所示，不同的子网络提取不同的特征，门控网络根据不同的散射条件，动态的合成提取出的特征，从而能够更好的适应在不同的散射条件下的成像重建，如图3所示。

图2：动态合成示意图

图3：动态合成网络在不同粒子密度（ρ）下成像实验结果图

本文展示了动态合成网络在复杂多变散射条件下成像的优越性，为解决散射成像中介质模型敏感性问题提供了一种全新的方向。同时，这种新的自适应深度学习框架可以进一步适应于许多其他成像应用，包括图像去噪、动态散射成像，非视距成像 、深度散射组织成像和计算荧光显微镜等。从而，该动态合成框架为设计高度自适应的基于深度学习的计算光学成像开辟了新的路径。

| 论文信息 |

Tahir, W., Wang, H. & Tian, L. Adaptive 3D descattering with a dynamic synthesis network. Light Sci Appl 11, 42 (2022).

https://doi.org/10.1038/s41377-022-00730-x

监制 | 赵阳

编辑 | 赵唯

阅读原文