2016 23rd International Conference on Pattern Recognition (ICPR)

Cancún Center, Cancún, México, December 4-8, 2016

Neslihan Bayramoglu

摘要——乳房组织的显微分析对于乳腺癌的明确诊断是必要的，乳腺癌是女性中最常见的癌症。病理检查需要在不同的放大倍数下通过组织图像进行耗时的扫描，以找到临床评估线索，从而做出正确的诊断。数字成像技术的进步使用计算机视觉和机器学习方法对病理图像进行评估，这些方法可以自动执行诊断病理工作流程中的一些任务。这种自动化可能有利于获得快速和精确的量化，减少观察者的可变性，并增加客观性。

在这项工作中，我们建议使用卷积神经网络(CNNs)对乳腺癌组织病理学图像进行分类，而与它们的放大倍数无关。我们提出两种不同的架构；单任务CNN用于预测恶性肿瘤，多任务CNN用于同时预测恶性肿瘤和图像放大水平。在BreaKHis数据集上对以前的结果进行评估和比较。实验结果表明，该方法提高了放大特定模型的性能。我们在这一组有限的训练数据中的结果与以前手工制作的特征所获得的最先进的结果相当。然而，与以前的方法不同，我们的方法有可能直接受益于额外的训练数据，并且这种额外的数据可以用与以前的数据相同或不同的放大级别来捕获。

I. INTRODUCTION

癌症仍然是全球最主要的死亡原因之一[1]。乳腺癌是女性中最常见的癌症[1]，[2]。活检后对乳腺组织进行显微分析是乳腺癌确诊的必要条件[2]。首先，从活检材料上切下薄片，然后用苏木精和曙红染色。苏木精通过结合DNA突出细胞核，曙红通过结合蛋白质突出其他结构[3]。可视化是染色后的下一步。最后，病理学家在显微镜下以不同的放大率或在数字图像上评估组织活检，在诊断上没有明显的差异[4]。病理学家检查组织模式、纹理和形态学，以找到临床评估线索，从而做出正确的诊断。他们可能需要以高放大倍数平移、聚焦、缩放和扫描整个图像，这可能非常耗时[5]。除了及时和昂贵的过程之外，病理学家的不同解释可能会妨碍这种分析[3]。

数字成像技术的进步使得以微观分辨率数字化病理图像成为可能[5]。这一发展提供了通过计算机视觉和机器学习方法对苏木精和伊红染色切片的组织学评估。这些方法可以使诊断病理学工作流程中的一些任务自动化，这些任务可以用来减少观察者的可变性并增加客观性。此外，快速准确的量化可以提高医疗质量。然而，这需要稳健的图像分析算法，这仍然远未被临床接受[4]。尽管如此，在用于组织病理学图像评估的图像分析算法的发展方面已经取得了进展。关于组织学中自动图像分析方法的更多信息，我们请读者参考[3]、[4]和[6]。

苏木精和伊红染色切片的外观可变性是乳腺癌组织病理学图像分析的主要挑战之一[3](见图1)。这些差异是由于人与人之间的差异，实验室之间的协议差异，固定，标本在块中的方向，人类在组织制备方面的技能，显微镜检查主要-由于染色程序的不同而导致的持久性和颜色变化[4]。然而，图像分析研究人员面临的主要挑战是访问相关图像和数据库。目前缺乏的可公开获得的大型注释数据集有助于开发应用于病理诊断的更有效的数据分析方法。这样的数据集和基准能够验证和比较算法，以开发更健壮的算法

最近，乳腺癌组织病理学图像数据集(BreaKHis)为此目的而发布[7]。使用不同的放大因子(40倍、100倍、200倍、400倍)从82名患者中收集(图2)。该数据库包含2480幅良性图像和5429幅恶性图像。此外，[7]中的研究提供了几种手工制作的纹理特征的分类性能，作为区分良性和恶性肿瘤的基线。这些包括最先进的描述符，如局部二进制模式(LBP)[8]，完全LBP (CLBP) [9]，局部相位量化(LPQ) [10]，灰度共生矩阵(GLCM) [11]，定向快速旋转简要(ORB)[12]，和阈值邻接统计(PFTAS) [13]。

在这篇文章中，我们建议对乳腺癌组织病理学图像进行分类，而不考虑其放大倍数。我们在BreaKHis数据集上展示了深度学习方法的分类性能，以便提供额外的基线。此外，我们提出利用一个适用于多任务分类的相似网络结构来检测图像放大级别并同时对良性和恶性肿瘤进行分类。最重要的是，我们引入了一种基于学习的方法，这种方法可以直接从额外的标记训练数据中受益，这与基于手工特征的方法不同。

II. METHOD

最近，神经网络在对象分类方面取得了巨大的成功[14]。具体来说，基于卷积神经网络的方法比最先进的识别和分类方法有了显著的改进。神经网络还被用于解决生物医学图像分析研究中的各种问题。比如Ciresan等人。al [15]检测乳腺癌组织学图像中的有丝分裂并赢得相关竞赛。它还被用于细胞分类[16]、[24]、血液样本中的肿瘤细胞检测[17]以及将人脑的磁共振图像分割成解剖区域[18]。

在乳腺癌组织病理学图像分析中，卷积神经网络用于感兴趣区域检测[19]，分割[20]，以及有丝分裂检测[15]。另一方面，出于分类的目的，通常采用手工制作的特征[5]，[21]，[2]，[7]。它们包括复杂的预处理管道，包括染色归一化、核检测和感兴趣区域分割。这主要是由于组织病理学图像的异质性结构。首先，有各种各样的组织，在较低的显微镜放大率下，外观的复杂性增加。不同的多细胞结构和不同的背景以不同的放大倍数拍摄。因此，为了获得可区分的特征，需要结构特定的特征。第二，图像可以包含良性和恶性区域，因此，从组织学图像中全局学习区别特征是具有挑战性的，因此，需要分割。当训练数据很少时，后一个问题对中枢神经系统也是一个挑战。

减少显微图像可变性的一种方法是利用在相同放大倍数下获得的图像。绝大多数以前的研究采用这种方法，并采用单一的放大倍数。一些研究([7]，[22])利用了多个放大倍数，但它们对每个放大倍数使用不同的分类器。然而，这种方法有实际的局限性。首先，不同的放大倍数需要多个训练阶段。第二，在测试期间，必须知道测试图像的放大系数，并使用相应的模型。这样的信息可能不是一直都有的。第三，当测试图像以新的放大倍数获得时，分类方法可能表现不佳。因为，在训练阶段，分类器学习放大特定特征，并且它们不能适应看不见的图像特征。因此，用于诊断实践的分类系统应处理显微镜图像的多样性，不应依赖于设备设置，如显微镜放大倍数。我们的方法能够利用来自具有不同放大系数的各种成像设备的额外训练数据。

Magnification independent classification(single-task CNN):我们建议采用深度学习的方法来处理乳腺癌组织病理学图像表现的多样性。CNN模型有很高的能力来代表不同的特征。我们在实验中使用了BreaKHis数据库[7]。BreaKHis以四种不同的放大率(40倍、100倍、200倍、400倍)提供图像。它们还提供放大特定的基线结果。为了训练我们的CNN模型，我们利用了所有可用的数据，这些数据在训练集BreaKHis中，与它们的放大率无关。我们只需要一个参数学习的训练阶段，我们使用学习的模型测试每个图像(图3)。

我们实验中使用的网络架构如图4所示。以前，它用于从真实世界的图像中估计年龄和性别[23]。该网络包含三个卷积层，每个层后面都有一个校正的线性运算和一个汇集层。在前两层之后采用局部响应归一化[14]。在第一个卷积层，96个大小为3× 7 ×7像素的滤波器被应用到输入端。该层之后是校正线性算子(ReLU)，最大汇集层，采用具有两个像素步长的3×3区域的最大值，以及局部响应归一化层[14]。第二个卷积层包含256个大小为5× 5的滤波器。在第二个卷积层之后，再次应用最大汇集和归一化层。最后，在第三卷积层，使用一组384个大小为3 ×3的滤波器。这个层后面是ReLU和一个最大池层。最后，在卷积层之后增加两个全连通层。每个完全连接的层包含512个神经元，每个神经元后面都有一个ReLU和一个脱落率为0.5的脱落层。

Preprocessing and data augmentation:增加训练样本的数量对于CNN框架中的小训练集很有用。我们通过仿射变换来扩充训练集。我们以90°、180°和270°的角度围绕图像中心旋转图像。旋转和原始图像然后翻转并添加到训练集。每幅图像在其中心周围被裁剪，以获得一个正方形的补丁。对于非正方形图像，旋转操作会在图像边界引入不连续性，因此，图像会被裁剪为仅包含组织像素。然后图像都被缩放到一个固定的大小以加快速度。

Multi-task classification:CNN模型使用级联卷积层在输入和输出之间建立高度非线性的映射。这种复杂的层次表示能够捕获从基本到更复杂的结构的特征，然后用于预测属性。属性可以只是为任务定义的类标签。不同的任务可以有共同的特点。因此，卷积神经网络非常适合多任务学习。在此基础上，我们提出了一个多任务框架来联合学习图像恶性度和放大因子的分类器。我们修改了网络架构，通过将最后一个完全连接的层分成两个分支来生成两个输出层。在反向传播期间，两个梯度在分离层中被加在一起。网络如图5所示。网络分成两个分支后:

第一个分支学习良性/恶性决策。输出被馈入一个双向软最大值，我们最小化软最大值损失，这相当于两类情况下的交叉熵损失。

第二个分支学习放大系数。输出再次馈入4路softmax，softmax损耗降至最低。

Multi-task loss:每个输出层通过全连接层的输出上的软最大值来计算离散概率分布。在训练阶段，通过等式1给出的软最大损失函数进行最小化。

其中pi(x)是输入x被标记为liand的概率，y是真实分布(即地面真实)，其中P iyi= 1，真实类别等于1，其余为零。

我们将多任务环境中的总成本定义为良性/恶性肿瘤成本和放大成本的加权和:

其中，ωBM和ωmaga分别是恶性肿瘤和放大任务的成本权重。我们使用ωbm= ωmag=0.5，但是不同的权重可能会改善结果，这在理论上很难确定，但需要根据经验进行估计

III. EXPERIMENTS AND RESULTS

该数据库提供了7，909张组织病理学图像，这些图像分为良性和恶性肿瘤来自82名患者。图像为3通道RGB，每个通道8位深度，大小为700 ×460。平均而言，使用最低放大倍数(40倍)从每张载玻片上捕获每个患者的24张图像。然后由病理学家手动将放大倍率增加到100倍、200倍和400倍，并在每个放大倍率下在初始区域内捕获相似数量的图像。失焦图像随后被最终目视检查丢弃。除了图像，BreaKHis还提供了一个测试协议。数据集分为训练集(~70%)和测试集(~30%)，其中用于构建训练集的患者不用于测试集。分裂方案已用于获得5倍，结果是基于平均5倍报告的。

在我们的研究中，我们遵循相同的测试协议和相同的性能测量，以便与以前的结果进行公平的比较。在我们的预处理步骤中，图像从其中心裁剪为460×460大小的图像。在旋转图像中，为了避免图像边界处的图像中断，采用了正方形尺寸的补片，在CNN框架中也需要固定尺寸的图像。训练集由旋转和翻转操作填充，这些操作将训练集放大了8倍。在我们的测试中，为了加速，在训练阶段和测试阶段，所有的图像都被调整到100×100。使用动量因子为0.9的微型批次随机梯度下降来训练网络。每次迭代都在一个由100幅图像组成的小批次上运行，这些图像是从训练集中随机采样的。与乳腺癌组织病理学图像中的外观变化相比，这是一个小数据库。因此，图像特征在训练集中没有得到均匀的反映。这导致了最佳迭代，并且学习率因折叠而异。我们利用测试集中一个放大级别(40倍)的图像来调整迭代次数和基本学习率。当我们注意到过度装配时，我们申请提前停止。我们观察到，当我们继续学习时，折叠的训练集准确率通常达到100%。这表明该网络有足够的能力对乳腺癌组织病理学图像进行分类，同时也表明我们的标记训练数据非常有限，这是经常发生的情况。然而，我们的方法结合来自所有放大级别的数据来训练单个网络，能够达到良好的性能，尽管缺乏放大特定的训练数据。

在我们在表1中的第一个实验中，我们比较了我们的CNN框架在良性/恶性分类的特定放大倍数和独立放大倍数训练方面的性能(单任务CNN)。在放大特定实验中，对于每个放大级别，我们从随机状态开始训练一个单独的网络，并根据放大系数测试图像。对于与放大率无关的训练，我们用所有与其放大率无关的训练图像来扩充训练集(图3)，并训练一个单独的网络(图4)。然后使用学习的模型测试图像。比较是针对第一次折叠。在训练阶段混合不同放大率的图像不会降低分类性能。反而性能略有提升。这种增加是由于从其他放大级别导入了额外数据的训练集的扩展，也是由于仿射变换。

表二给出了五倍放大独立训练(单任务CNN)的识别率。对于良性/恶性分类，利用我们的单任务CNN模型，每折叠一次训练，平均识别率达到83.25%。不同褶皱识别率的差异是由于测试和训练集中数据的不均匀分布造成的。这表明需要增加额外患者的训练数据量，以便更好地覆盖训练期间图像特征的变化。另一方面，表二最后一栏中显示的平均识别率在所有放大级别中是相似的。这表明，所提出的网络从不同层次学习平衡的特征集，并且在测试期间，该模型生成我们首先瞄准的放大无关预测。

接下来，我们测试了我们的多任务网络框架(图5)，用于预测输入图像的放大系数及其恶性程度。表三显示了这两项任务的识别率。良性/恶性分类任务的平均识别率为82.13%，放大率估计任务的平均识别率为80.10%。与单任务CNN相比，在多任务环境下，恶性肿瘤评估的性能没有明显下降。因此，多任务模型在需要估计输入图像的放大系数和/或来自单个放大级别的训练数据量不足的应用中可能更有用。

在表四中，我们将我们的结果(单任务CNN(CNN)和多任务CNN (mtCNN))与以前的方法进行了比较。我们为手工制作的特征选择了表现最好的分类器结果。例如，对于PFTAS特征，QDA分类器在40倍和100倍放大率下获得最佳结果，而SVM在200倍和400倍放大率下表现更好。PFTAS特征基于在阈值化的颜色通道上的三维卷积操作，这在某种意义上类似于CNN。所以PFTAS和CNN的表现差不多(83.33%对83.25%)。另一方面，CNN的结果和其他手工制作的特征在所有放大级别上都有很大的差距。我们认为，额外的训练数据将提高CNN的结果，因此，深度学习更有希望，因为它们对训练集进行分类的能力被证明是完美的。

IV. DISCUSSIONS AND CONCLUSION

在这项工作中，我们提出了一个基于中枢神经系统学习乳腺癌组织病理学图像特征的一般框架。提出的框架独立于显微镜放大，比以前的方法更快，因为它需要单一的训练。速度和放大倍数的独立性是在不牺牲最先进的性能的情况下实现的。与放大倍数无关的模型是可扩展的，可以利用来自任何放大倍数的新训练图像，并且可以通过引入新样本来容易地调整(微调)训练模型。

在这项工作中，我们还提出了一个多任务CNN架构，以同时预测图像放大级别及其良性/恶性属性。所提出的模型允许组合来自比四个离散放大级别更多的分辨率级别的图像数据。事实上，放大水平预测可以表述为一个回归问题，它不限于一组离散的水平。与单任务预测相比，多任务预测基本上不需要额外的计算。此外，实验结果表明，在多任务网络中，分类性能没有下降。

对于未来的工作，污点规范化，更深层次的架构，并分裂网络之前，最后一个完全连接的层可以进行研究。在多任务体系结构中观察任务方式的早期停止是很有趣的。更重要的是，随着患者数量的增加，应引入额外的数据。我们认为，在乳腺癌组织病理学图像分类中，CNNs比手工特征更有前途，数据是获得更稳健模型的关键问题。

REFERENCES

[1] Torre LA, Siegel RL, Ward EM, Jemal A. “Global cancer incidence and

mortality rates and trendsan update.” Cancer Epidemiology Biomarkers

& Prevention. 2016 Jan 1;25(1):16-27.

[2] Loukas C, Kostopoulos S, Tanoglidi A, Glotsos D, Sfikas C, Cavouras

D. “Breast cancer characterization based on image classification of

tissue sections visualized under low magnification.” Computational and

mathematical methods in medicine. 2013 Aug 31;2013.

[3] Veta M, Pluim JP, van Diest PJ, Viergever MA. “Breast cancer

histopathology image analysis: A review.” Biomedical Engineering, IEEE

Transactions on. 2014 May;61(5):1400-11.

[4] McCann MT, Ozolek JA, Castro CA, Parvin B, Kovacevic J. “Automated

histology analysis: Opportunities for signal processing.” IEEE Signal

Processing Magazine. 2015;32(1):78.

[5] M. Peikari, M. J. Gangeh, J. Zubovits, G. Clarke and A. L. Martel,

“Triaging Diagnostically Relevant Regions from Pathology Whole Slides

of Breast Cancer: A Texture Based Approach,” in IEEE Transactions on

Medical Imaging, vol. 35, no. 1, pp. 307-315, Jan. 2016.

[6] Gurcan MN, Boucheron LE, Can A, Madabhushi A, Rajpoot NM, Yener

B. “Histopathological image analysis: a review. Biomedical Engineering,”

IEEE Reviews in. 2009;2:147-71.

[7] F. Spanhol; L. Oliveira; C. Petitjean; L. Heutte, “A Dataset for Breast

Cancer Histopathological Image Classification,” in IEEE Transactions on

Biomedical Engineering, 2015.

[8] Ojala, T., Pietikäinen, M.,Mäenpää, T. “Multiresolution gray-scale and

rotation invariant texture classification with local binary patterns.” Pattern

Analysis and Machine Intelligence, IEEE Transactions on 24, no. 7

(2002): 971-987.

[9] Guo, Zhenhua, Lei Zhang, and David Zhang.“A completed modeling of

local binary pattern operator for texture classification.” Image Processing,

IEEE Transactions on 19, no. 6 (2010): 1657-1663.

[10] Ojansivu, V., Heikkilä, J.“Blur insensitive texture classification using

local phase quantization.” In Image and signal processing, pp. 236-243.

Springer Berlin Heidelberg, 2008.

[11] Haralick, Robert M., Karthikeyan Shanmugam, and Its’ Hak Dinstein.

“Textural features for image classification.” Systems, Man and Cybernet-

ics, IEEE Transactions on 6 (1973): 610-621.

[12] Rublee, E., Rabaud, V., Konolige, K. and Bradski, G. “ORB: an efficient

alternative to SIFT or SURF.” In Computer Vision (ICCV), 2011 IEEE

International Conference on, pp. 2564-2571. IEEE, 2011.

[13] Hamilton, Nicholas A., Radosav S. Pantelic, Kelly Hanson, and Rohan

D. Teasdale. “Fast automated cell phenotype image classification.” BMC

bioinformatics 8, no. 1 (2007): 110.

[14] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification

with deep convolutional neural networks,” in Advances in neural infor-

mation processing systems, pp. 10971105, 2012.

[15] Cires ¸an, D.C., Giusti, A., Gambardella, L.M. and Schmidhuber, J.,

2013. “Mitosis detection in breast cancer histology images with deep

neural networks.” In Medical Image Computing and Computer-Assisted

InterventionMICCAI 2013 (pp. 411-418). Springer Berlin Heidelberg.

[16] Bayramoglu N., Kannala J., Heikkilä J. “Human Epithelial Type 2 cell

classification with convolutional neural networks”. In Bioinformatics and

Bioengineering (BIBE), IEEE 15th Int. Conf. on 2015 Nov 2 (pp. 1-6).

[17] Y. Mao, Z. Yin and J. M. Schober, “Iteratively training classifiers for

circulating tumor cell detection,” Biomedical Imaging (ISBI), 2015 IEEE

12th International Symposium on, New York, NY, 2015, pp. 190-194.

[18] Brebisson, Alexander, and Giovanni Montana. “Deep Neural Networks

for Anatomical Brain Segmentation.” In Proceedings of the IEEE Confer-

ence on Computer Vision and Pattern Recognition Workshops, pp. 20-28.

2015.

[19] Cruz-Roa, A., Basavanhally, A., Gonzlez, F., Gilmore, H., Feldman, M.,

Ganesan, S., Shih, N., Tomaszewski, J. and Madabhushi, A., “Automatic

detection of invasive ductal carcinoma in whole slide images with

convolutional neural networks.” In SPIE Medical Imaging, pp. 904103-

904103. International Society for Optics and Photonics, 2014.

[20] Su H, Liu F, Xie Y, Xing F, Meyyappan S, Yang L. “Region segmenta-

tion in histopathological breast cancer images using deep convolutional

neural network.” In Biomedical Imaging (ISBI), 2015 IEEE 12th Inter-

national Symposium on 2015 Apr 16 (pp. 55-58).

[21] Wan, S., Huang, X., Lee, H.C., Fujimoto, J.G. and Zhou, C., 2015, April.

“Spoke-LBP and ring-LBP: New texture features for tissue classification”.

In Biomedical Imaging (ISBI), 2015 IEEE 12th International Symposium

on (pp. 195-199). IEEE.

[22] Keskin F, Suhre A, Kose K, Ersahin T, Cetin AE, Cetin-Atalay R.

“Image classification of human carcinoma cells using complex wavelet-

based covariance descriptors.” PloS one. 2013 Jan 16;8(1):e52807.

[23] Levi, Gil, and Tal Hassner. “Age and gender classification using con-

volutional neural networks.” In Proceedings of the IEEE Conference on

Computer Vision and Pattern Recognition Workshops, pp. 34-42. 2015.

[24] Bayramoglu N. and Heikkilä J.“Transfer Learning for Cell Nuclei

Classification in Histopathology Images”, In Computer Vision - ECCV

2016 Workshops - Amsterdam, the Netherlands, October 8-10 and 16.