2021-09-22-Task Transformer Network for Joint MRI Reconstruction and Super-Resolution(arXiv2021)
Abstrct
磁共振成像（MRI）的核心问题是加快图形合成速度和图像质量之间的权衡。
图像重建 image reconstruction和图像超分辨率是MRI的两个主要技术。前者通过减少 k 空间采样率来加速 MRI。后者通过恢复单个退化的低分辨率 (LR) 图像获得高分辨率 (HR) 图像
现有方法分别执行这两个任务，忽略了它们之间的关系。
这篇文章提出Task transformer network，共同执行图像重建和图像超分辨率，允许多个任务之间共享表示和特征变换。利用一个任务的知识加速另一个任务的学习过程。
我们首先使用两个独立的 CNN 分支来提取特定于任务的特征。然后，设计了一个任务变换器模块来嵌入和合成两个任务之间的相关性。
方法发展过程
compressed sensing(CS)[12],low-rank[24],dictionary learning[22,29],and manifold fitting[19]利用许多先验来克服违反香农-奈奎斯特采样定理的重叠伪影。
MRI SR，迭代的算法(low rank 或者 sparse representation)考虑图像先验作为正则化项，
【为什么图像先验可以作为正则化项？】
与单任务学习相比，多任务模型兼具共享和特定任务的特点。然而现有的模型以顺序的方式直接结合不同的任务到网络中，没有利用任务间共享的特征。
方法
2.1 Task Transformer Network
Task transformer模块学习共享的特征，鼓励网络学习泛化表示。
Rec模块的输出是LR motion-free图像，SR模块的输出是最终的输出。
损失函数
SR Branch
Reconstruction Branch
重建模块可以从具有运动伪影的输入中恢复具有正确解剖结构的清晰图像。
The Rec branch is trained under the supervision of the LR motion-artifacts-free image LR, aiming to remove the artifacts from the input.
Rec 模块的输出融合到SR模块来获取最终超分的，运动伪影去除的图像。
2.2 Task Transformer Module
a relevance embedding, a transfer attention for feature transfer and a soft attention for feature synthesis.
Transfer Attention
aims to transfer anatomical structure features from the Rec branch to the SR branch.
Soft Attention
实验
数据集
IXI data set and a clinical brain MRI data set
For the IXI data set, we exclude the first few slices of each volume since the frontal slices are much noisier than the others,making their distribution different.
http://brain-development.org/ixi-dataset/
