医学图像领域关于小样本的处理方法（一）——半监督
首先是查阅医学有关图像处理的资料中，有篇CVPR2019医学影像AI论文博客看到关于”利用学习图像变换进行数据增强”（麻省理工大学团队发表，参考来源：https://blog.csdn.net/weixin_33691817/article/details/92251078）。
具体启发部分内容如下：
论文研究领域：生物医学分割——one-shot磁共振成像脑部分割
该领域的难点：
1、人类大脑存在大量的解剖变异
2、手动分割标签需要相当多的专业知识和时间，大多数临床图像数据集手动标注的图像非常少
3、不同机构和机器的图像采集差异，导致数据分辨率，图像噪声和组织外观等方面产生很大的差异
已有方法的不足：许多有监督的生物医学分割方法专注于人工设计预处理步骤和架构。使用手动调整的数据增强来增加训练样本的数量也很常见，诸如随机图像旋转或随机非线性变形之类的数据增强功能，并且已被证明在某些例子中有效地提高了分割准确度。然而，这些功能模拟多样化和现实的例子的能力有限，并且可能对参数的选择高度敏感。
该团队的研究出发点：建议通过学习合成多样且真实的标注样例来解决标注数据数量有限的挑战。
创新点：为解决缺乏标注数据的问题，提出了用于医学图像的自动数据增强方法
具体做法：是采用半监督方法。即只需要单个有人工标注的数据以及其他没有标注的数据。首先从图像中学习变换模型，通过该模型及已标注样例再来合成额外的标注样例进行训练。每个变换由空间变形场(spatial deformation field)和强度(intensity)变化组成，能够合成复杂的效果，例如解剖学和图像采集程序的变化。通过这些新样例增强有监督分割模型的训练，相较于one-shot生物医学图像分割的state-of-the-art方法有了显著的改进。
一些论文摘要语句：
MR图像强度因为特定对象的噪声，扫描仪协议和质量以及其他成像参数的变化而变化，因此许多现有的分割方法依赖于数据预处理来减轻这些与强度相关的挑战。（自己的理解：图像问题的强度不一，表现为图片中明暗度） 预处理方法的运行成本很高，而开发真实数据集的技术是目前较热门的研究领域。我们的增强方法从另一个角度处理这些与强度相关的挑战：它不是去除强度变化，而是使分割方法对MRI扫描的自然变化具有鲁棒性。
大量经典分割方法使用基于图谱的或图谱引导的分割，其中使用变形模型将标记的参考体积或图谱与目标体积对齐，并且使用相同的变形来传播标记。当有多个地图集可用时，它们每个都与目标体积对齐，并且与扭曲的图谱标签融合。在基于图谱的方法中，通过变形模型捕获对象之间的解剖学变化，并且使用预处理或强度鲁棒性算法(例如归一化互相关)来减轻强度变化的挑战。然而，组织外观的模糊性(例如，模糊的组织边界，图像噪声)仍然可能导致不准确的配准和分割。我们的目标是通过在不同的现实样例上训练分割模型来解决这一局限性，使分割模型对这种模糊性更加鲁棒。我们专注于单一图谱，并证明我们的方法优于基于图谱的分割。如果有多个分割样例可用，我们的方法可以利用它们。
为了减轻大型标记训练数据集的需求，很多方法通常结合手工设计的预处理和架构增强数据。半监督和无监督的方法也被提出来应对小训练数据集的挑战。这些方法不需要成对的图像和分割数据。相反，他们利用分割数据的集合来构建解剖先验，训练对抗网络，或训练新颖的语义约束。 实际上，图像集合比分割数据更容易获得， 我们的方法不是依赖于分割标注，而是利用一组无标签的图像。
空间和外观变换模型
形状和外观的模型已经用于各种图像分析。在医学图像配准中，空间变形模型用于建立图像之间的语义对应关系。这个成熟的领域涵盖了基于优化的方法，以及最近基于学习的方法。
我们利用Voxel Morph(一种最近的无监督学习方法)来学习空间变换。许多配准方法都侧重于强度归一化图像或与强度无关的目标函数，并没有明确说明图像强度的变化。
对于非标准化图像，空间和外观变换模型一起用于记录纹理或外观以及形状不同的对象。许多作品建立在Morphable
Models或Active
Appearance Models(AAMs)的框架之上，其中构建了形状和纹理的统计模型。在医学领域，AAM已被用于定位解剖标志并执行分割。 我们通过使用卷积神经网络来学习无约束空间和强度变换场的模型，从而构建这些概念。 我们不是以配准或分割为最终目标学习变换模型，而是从这些模型中进行抽样，以合成新的训练样例。 正如我们在实验中所示，以这种方式增加训练集进行分割可以产生比直接使用变换模型执行分割更鲁棒（也就是泛化能力更强。
我们的目标是捕获图谱和未标记体积之间的变换分布，每个变换模型通过一个卷积神经网络来学习(如图3所示)。借鉴Morphable模型和AAM，我们独立优化空间和外观模型。
待处理：（原论文和是否有开源实现，今日还没找到）
——————————+——————————+——————+——————————————
根据以上博客内容，自己先去了解下”Voxel Morph”,这个开源的无监督学习方法，在网址：
http://zuzhiang.cn/2020/02/28/VoxelMorph/，了解到voxel morph是一种无监督医学图像配准模型。
网络结构示意图如图1所示：其中，下方浅蓝色区域是可选的。fixed image 和 moving image 通过一个卷积神经网络 gθ(f,m)gθ(f,m) 产生一个配准场（可以理解为形变场）ϕϕ，然后将该形变场作用在 moving image 上得到更接近 fixed image 的 moved image m∘ϕm∘ϕ。形变场有一个平滑损失 Lsmooth(ϕ)Lsmooth(ϕ)，moved image 和 fixed image 之间有一个相似性损失 Lsim(f,m∘ϕ)Lsim(f,m∘ϕ)。如果是有监督（即有分割标签）的训练，则产生的形变场还会作用在 moving image 对应的分割标签上，得到 moved segmentation，并计算它与
fixed image segmentation 之间的分割损失 Lseg(sf,sm∘ϕ)Lseg(sf,sm∘ϕ)。
白话说就是，右侧图像融合了左侧2张图像的特点，生成一个比较接近真实的脑图.
待处理：根据这个启发：具体应用的代码实现，明天查找和实验。
查找文献关键字：one-shot磁共振成像(MRI)脑部分割挑战赛；voxel morph,半监督；
