深度混合散射图像学习

  一个训练有素的深度神经网络被证明能够同时恢复两种图像，这两种图像分别被两种不同的散射介质完全破坏。 基于U-net架构的网络可以通过斑点 - 参考图像对的混合数据集来训练。 我们通过实验证明了网络在重建由玻璃漫射器或多模光纤强烈漫射的图像时的能力。 学习模型进一步显示出良好的重建与训练数据集不同的图像的概括能力。 我们的工作促进了光学传输的研究，并扩展了机器学习在光学领域的应用。

  散射介质，如生物组织和海水，会导致光束变形，这在许多光学应用中都会受到严重限制。在强散射介质之后，远场图像将扩散成散斑图案。在过去的十年中，已经提出了各种方法，例如波前整形[1,2]，光学相位组合[3,4]和传输矩阵（TM）测量[5]。然而，所有这些传统方法都遇到了一些缺点。波前整形基于光学记忆效应，这限制了视野。具有复杂成像装置的相位共轭和TM测量必须执行复杂的校准和扫描过程。

  机器学习的发展引起了人们的极大关注，并为解决散射图像重建问题提供了新的思路。 Horisaki等[6]使用支持向量回归（SVR）通过从散斑图案采样的像素通过散射介质恢复面部图像。人工神经网络也被用于再现散射光的复振幅[7]。这些任务需要实验数据预处理，例如采样，而不是端到端的图像到图像学习过程。最近，深度神经网络（DNN）是更广泛的机器学习方法系列的深层结构之一，已被用于光学成像的研究，如无透镜计算成像[8]，鬼影成像[9] ]，波前传感[10]和湍流校正[11]。结合几种特殊处理方法，创建了着名的网络结构，如卷积深度神经网络（CNN）和递归深度神经网络（RNN），并广泛应用于图像分类[12,13]，人脸识别[14]，在真实[15]和倒数空间[16]和模式检测[17,18]中进行相位重建。 DNN训练可以被认为是可以表征物理过程的通用函数的近似值。训练过程取决于大量样本，通常称为“大数据”，旨在生成一种计算架构，将所有输入精确映射到其输出。图像重建和优化可以转化为监督学习问题，旨在通过毁灭性的光学系统找到原始图像和图形之间的映射关系。

  在本文中，我们使用语义分段的端到端DNN来实现图像重建，其中它们通过强散射介质和多模光纤（MMF）进行扩散。一些使用类似设置的工作最近进行了[19-22]。与这些工作相比，我们工作的一个主要优点是神经网络能够同时重建两种不同类型的散斑图像，而无需进一步的独立训练。 DNN的结构是U-net [23]架构，它由两部分组成：获取上下文信息的收缩路径和精确定位的对称扩展路径。该网络有三个优点：（i）它支持仅从少量数据中学习; （ii）通过对每个像素进行分类，实现了更高的分割精度; （iii）用训练的模型快速划分图像。我们的训练集是基于着名数据集MNIST [24]的高分辨率手写数字。显示网络可以很好地重建手写数字。训练好的网络具有很强的泛化能力，可以进一步用于重建手写字母。此外，它还可以用于重构穿过漫射器不同位置的散斑图像，这意味着DNN学到的是隐藏的散射模型，而不仅仅是映射函数。

  在我们的工作中，我们采用了一种方案，包括从“散斑对象”对中学习映射函数Hθ并预测散斑图案。计算机成像系统由三部分组成，即数据预处理部分，光学系统和神经网络。在训练过程中，我们首先从数据集MNIST加载原始图像。由于原始数据集的分辨率为28×28像素，我们需要通过上采样将分辨率扩展到512×512像素，以便它可以耦合到光学系统中。然后，将这些图像发送到不同的光学通道以分别获得散斑图像和对象图像。大量的“斑点 - 物体”对用于训练DNN。在测试过程中，我们以相同的方式加载测试集（与训练集不同），并且仅从光学散射通道获得散斑图像。然后使用训练有素的DNN来重建具有这些散斑图案的非干涉图像。

  DNN的U-net架构如图1所示。输入层和输出层为512×512像素，对应于光学系统的图像。 U-net由两条路径组成。在收缩路径中，有五个块，每个块包括两个卷积层，后面是最大池层。在扩展路径中，它连接五个块，两个卷积层后面是一个上采样层。收缩路径中的一些卷积层与扩展路径中的相应卷积层合并以避免像素的丢失。输入图像最终通过此DNN转换为另一个图像，因此它是端到端的进度。遵循U-net架构的惯例，优化器是Adam [25]，损失函数是二元交叉熵，定义为 - 1 n×N k，i，j [yk（i，j）log ak（i，j）+（1-yk（i，j））log（1-ak（i，j））]。 k是样本序列号，i，j表示像素序列号; y表示参考图像的强度; a是DNN的输出图像; n是每个图像的所有像素的数量，N是所有样本的数量。

  我们在实验装置中生成了一个数据集，如图2所示。借助于先前工作[26-28]中演示的方法，使用了仅相位空间光调制器（SLM，Hamamatsu，像素间距12.5μm）产生所需的强度模式。从在线数据库MNIST获取2000张28×28像素分辨率手写数字的图像，然后对其进行上采样并光栅化为仅相位计算机生成的全息图并显示在SLM的中心560×560像素上（手写数字3）以示例为例）。从SLM反射的扩展的880nm激光器和全息图有效地使入射光束不同。一阶衍射带有表示原始输入图像的强度图案，并通过孔径传播，而其他顺序由孔径进行空间滤波。

  使用三个成像通道：（a）自由空间传输; （b）玻璃扩散板（Thorlabs，220 Grits），安装在电动旋转支架上以备将来使用，其角度在整个训练过程中固定，并通过主光轴对齐; （c）多模光纤（Ideaoptics，L = 1m，芯直径600μm，N.A。= 0.22）。在设置（a）中收集的图案被用作地面实况标签，并且设置（b）和（c）中的输出光束形成不同种类的散斑图案。在CCD相机处收集的每个图像被归一化并以512×512像素大小保存以匹配神经网络的规模。 SLM迭代了超过2100个kinoforms以创建相应的图像。

  在训练过程中，将来自（a）/（b）（1000对）和（a）/（c）（2000对）的“物体 - 斑点”夫妇混合起来形成混合训练数据集然后喂给DNN模型。培训是在配有两台NVIDIA GTX 1080Ti图形处理器的计算机上进行的。 U-net建立在TensorFlow API框架之上。使用具有10-6的特征学习率的Adam优化器，处理模型被迭代地拟合1000个时期，并且控制模型适合于100个时期。训练过程超过2天。在拟合每个时期后，保存预测模型，并将测试散斑图像（不同于训练集），50由漫射器散射和50后纤维传输产生，发送到U-净预测。图3显示了DNN在开始，50,200,600个时期和培训结束时提供的一些预测结果。图形结果表明神经网络能够从两种散射图像重建原始图案。

  通过计算它们的MSE和Corr来进行原始模式和重建模式之间的比较。值。对于两个彼此密切相关的模式，MSE应该消失并且Corr。应该走向统一。图4显示了MSE和Corr的趋势。重建（通过治疗模型）和参考模式，对十个测试样本进行平均，针对训练时期绘制。

  在1000个时期训练期间，重建的模式显示出与参考模式逐渐更接近的相似性。在训练过程结束时，对应于漫射器和MMF散射介质的重建和参考图案之间的MSE分别低于3×10-3和10-2。此外，玻璃扩散器和MMF实验中回收和参考图案之间的相关值分别限制在约0.90和0.76。相反，仅由玻璃漫射器图案训练的DNN模型不能重建MMF漫射图案，反之亦然。总之，我们只使用一个神经网络同时实现两种类型的图像恢复。

  我们进一步证明，虽然训练数据集MNIST由手写数字组成，但在经过足够数量的数据训练后，DNN也获得了重建简单符号模式的能力。如图5所示，DNN预测了磨砂玻璃散斑图像的手写字母，MSE和Corr。分别为2.65×10-3和0.89，这表明在机器视图中这两个数据集不太可能是严格正交或不相关的。

  通过在测试过程中移动散射板的位置来进行模型推广能力的另一个试验。在获取由50个散斑标记图像对组成的测试数据集期间，漫射器在每个测试图像之间旋转13°，使得每次测量的散射过程不同。我们之前建立的模型，尽管在训练期间没有关于扩散器周边部分的详细信息，仍然展示了预测通过相同扩散器的随机部分产生的散斑图像的能力，参见图6，其具有两个测试数字，5和9 ， 例如。数值结果表明，该交叉数据集重建获得了MSE和Corr。分别为1.2×10-2和0.65。这个结果表明DNN不是简单地学习漫射器通道中指定位置的映射矩阵，而是学习漫射器本身的散射机制。

  我们更加注重网络的泛化能力，只用一个神经网络成功地实现了两种散射图像的重建，并证明了神经网络解决光传输问题的泛化能力。 使用混合训练数据集，通过散射玻璃和多模光纤重建图像的MSE小于10-2。 重建图像与原始图像的相关性分别超过0.90和0.76。 我们还得到了几个有趣的结论，包括受过训练的模型可以恢复一些未经训练的模式，例如： 重建手写拉丁字母的图像，以及由类似属性的漫射器散布的图案。
  用于端到端图像恢复问题的DNN具有回归收敛特性和强大的泛化能力。 我们的研究结果表明，借助深度学习可以解决更复杂的问题。

1. 该深度学习算法学习的是散射模型而并非只是单纯的对应函数。
2. I`(x, y)= H(ˆI(x, y)) ≈ I(x, y)。旨在缩小前后差异。