今日文章来自：Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis1
研究任务和思想
文章研究任务为医学图像生成。传统的医学图像生成一般是一种模态生成另一种模态，而本文的任务为两种或者模态生成另一种模态，如输入T1 和T2两种模态生成Flair模态。而研究的出发点就是那一句“more modalities provide more information”
本文另一个好的想法是，把多模态之间的相关性，和模态各自的特性进行分开考虑。本文认为在捕获特定于模式的信息以保护其属性的同时，开发多个模式之间的潜在相关性是至关重要的。本文所提出的Hi-Net网络分为三部分：模态特定网络，模态融合网络，和生成网络。其中 模态特定网络主要思想是通过编码器来学习各个模态的独有的特征，融合网络通过混合融合块来实现（ Mixed Fusion Block（MFB）），而生成网络则通过GAN 来进行训练。
本文主要贡献：
1 不同于现有的单一模态合成方法，我们提出了一种新的医学图像合成框架，使用多种模态合成目标模态图像
2 我们的模型通过特定于模态的网络捕获各个模态特征，并利用多模态之间的相关性，使用分层多模态融合策略来有效地集成多模态多层次表示
3 提出了一种新的MFB模块，自适应地对不同融合策略进行加权，有效地提高了融合性能。
总体网络图
模态特定网络
模态特定网络用来学习模态的高层特征。在图1中为蓝色部分。采用自动编码器结构。突然发现竟然不是Unet网络。通过L1重建损失约束。特定网络仍然生成原来模态的图像，L1损失能很好反映图像强度变化。所以训练之后的特定网络能够在编码阶段学习到不同模态1和模态2的特定特征，并在解码阶段利用学习的特征重建和原图相似的图像。
值得注意的是：重构损失提供了侧输出，以保证特定模态网络对每个模态学习一个有区别的表示，彼此独立。
多模态融合网络
为了有效地利用来自不同模态不同层(如浅层和高层)特征表示的相关性，并减少不同模态之间的差异，我们提出了分层融合网络。此外，还提出了一个MFB模块，以适应权的不同输入从不同的模式。
将每个特定模式网络的第一池化层的特征表示输入到第一个MFB块中，第一个MFB块输出和特定网络的第二层特征表示一起被输入到下一个MFB模块，依次，在融合网络中有三个MFB模块，如图1所示
图2为MFB模块，其中设计了自适应权值网络来融合来自多种模式的特征表示。在多模式融合任务中，常用的策略有求和、求积和最大值。然而，对于不同的任务哪一种融合策略是最好的还不清楚。因此，同时使用所有三种融合策略，然后将它们连接起来。然后，添加一个卷积层conv1自适应加权三个融合。如图2所示。另外对于第一个融合快没有Fn-1所以仅吧conv1的输出输入到conv2中。
多模态生成网络
生成方式为传统GAN的生成。约束为对抗损失加L1损失。
值得注意的是生成网络使用了模态特定网络中学习的不同层特征来尽可能的利用原始模态的信息。
实验
使用multi-modal brain tumor segmentation challenge (BraTs2018)2018 数据集。本数据集包括285例多发性硬化症患者。磁共振扫描来自19个不同的机构，包括胶质母细胞瘤(GBM)和低级别胶质瘤(LGG)组。
患者扫描包含四种模态:T1、T1c、T2和Flair。在本研究中，使用T1, T2和F lair图像来验证我们提出的合成方法的有效性。使用2D轴平面切片
从表中可以看到MM-Syns方法比PIX2pix SSIM指标要差点。这是不是也是一种不同模态特征表示之间的干扰导致的，或许可以以后可以从减少这方面影响进行以后的实验。
