【科研简讯】基于结构感知的胸部疾病检测与分割关系网络
MICS科研简讯第三十八期
研究背景介绍
今天为大家介绍一篇关于基于结构感知的胸部疾病检测与分割关系网络的文章。胸部X射线扫描是医院对胸部疾病的常规检查。通过领域专业知识，放射科医生可以识别和定位异常或疾病，以便进一步诊断。为了减轻放射科医生的负担，计算机辅助诊断近年来投入了越来越多的努力。随着深度卷积神经网络（CNN）在自然图像上的成功应用，医学图像的分类、检测和分割等应用也获得了巨大的成功。本文旨在基于Mask R-CNN实现胸部器官和病灶的实例检测和分割。结合从胸部X射线研究中提取的域相关特征，本文用关系模块扩展了Mask R-CNN，实现实例分割框架。
文章信息
Jie Lian, Jingyu Liu, Shu Zhang, Kai Gao, Xiaoqing Liu, Dingwen Zhang, Yizhou Yu, 'A Structure-Aware Relation Network for Thoracic Diseases Detection and Segmentation,' in IEEE Transactions on Medical Imaging, vol. 40, no. 8, pp. 2042-2052, Aug. 2021, DOI: 10.1109/TMI.2021.3070847.
1. 简介
本文的关系模块包含三种类型的关系：1.疾病和胸部解剖结构之间的空间关系。疾病的诊断通常需要依赖位置先验信息，编码空间关系和约束有助于获得更准确的位置。2.异常区域与肺视野观察之间的上下文关系。上下文线索对放射科医生是颇有帮助的。一个典型的例子是对侧检查，例如，过曝光的X射线图像具有与肺实质变相似的外观。通过检查对侧外观，计算机可以模拟放射科医生来排除这种类型混淆的可能性。3.疾病之间的分类依赖关系。众所周知，一种疾病可以导致另一种疾病。此外，一种复杂的疾病可能是由多种因素共同引起的，导致各种异常。因此，异常可以共存于一张X射线图像中。如图1所示。
图1. 本方法所利用的三种先验关系知识。
2. 方法
图2展示了本文方法的整个框架，SAR-Net (Structure-Aware Relation Network)包含三个关系模块：解剖结构关系模块、上下文关系模块和疾病关系模块。图中(a)为使用FPN(Feature Pyramid Networks)模块的RPN(RegionProposal Network)模块用于提取特征，输入到三个关系模块后，经过增强的RoI特征被输入到检测模块或者分割模块中用以输出检测和分类结果。
图2. SAR-Net整体框架
2.1 解剖结构关系模块
一些疾病或异常与身体的特定部位或器官高度相关。例如，心脏肿大是一种心脏增大的疾病；肺不张是整个肺或肺区域（肺叶）的完全或部分塌陷。基于以上观察，本文提出了一个解剖结构关系模块来编码疾病和解剖部位之间的空间关系。为了完成这项任务，本文首先采用预先训练好的分割模型来获取解剖部分。然后，本文选择左肺、右肺、左肩胛骨、右肩胛骨和心脏的五个关键部分，在1000张胸部图像上进行训练，标记有来自外部数据的5个部分，并用于为本文数据集中的每幅图像生成解剖部分。然后，对于每个疾病RoI，本文使用坐标差来量化其与每个解剖部分的空间关系。如图3所示。
图3. 通过预训练PSP(Pyramid scene parsing network)网络分割解剖部分。在空间关系模块中使用了五个部分（左肺和右肺野、左肩胛骨和右肩胛骨以及心脏）。使用左肺和右肺来绑定上下文区域。
2.2 上下文关系模块
上下文提示对于放射科医生来说非常有用。例如，通过检查对侧对称区域，放射科医生可以确定异常是结节还是乳头。本文关注肺领域的疾病，因此将周围区域分为左肺和右肺的解剖部分。在这里，本文定制的注意力机制在自然语言处理和自然图像识别中被证明十分有效。类似地，对于特定疾病的诊断，本文根据在疾病上下文关系上学习到的注意力来聚合肺部中的关键内容。这些关系具有空间和特征兼容性。
2.3 疾病关系模块
胸部X光检查中的不同疾病之间通常互相存在着高度相关性。例如，肺结核是一种复杂的疾病，可能同时包含结节、纤维化和实变。异常之间也存在因果关系。例如，肋骨骨折可能导致气胸。为此，首先本文需要建立一个包含疾病之间的共现和因果关系的关系图。然后通过关系图传播来自疾病语义概念的信息。最后，通过组合信息获取特征。
3. 实验及结果
本文在ChestX-Det数据集上进行测试，该数据集是 NIH ChestX-14 带有标注框的子集。NIH ChestX-14 包含 112,120 张前视图像，其中有 880 张带有标注框的图像。为了使全监督学习可行，本文选择了 3,575 张图像，并邀请了三位获得委员会认证的放射科医师，用 13 种常见的疾病或异常类别对它们进行注释。同时，也在DR-private上进行了测试，该数据集是一个私人数据集，它收集了来自中国多家医院的 6,629 张胸部 X 射线图像。标注过程与 ChestX-Det 相同。使用 5800 张图像进行训练，使用 829 张图像进行测试。训练集中 10% 的样本用于验证。表1展示了本文方法与其他方法的在检测任务上的比较结果，可以看出本文的方法普遍优于现有其他方法。
表1. 不同方法在ChestX-Det和DR-private上的检测量化比较
表2中展示了本文方法与其他方法的在分割任务上的比较结果，可以看出本文的方法普遍优于现有其他方法。
表2. 不同方法在ChestX-Det和DR-private上的分割量化比较
另外本文为了评估每个模块的有效性，本文从不同的角度对 ChestX-Det 进行了消融研究。在所有实验中，本文使用相同的训练、验证和测试集。采用 ResNet-50 作为主干。本文分别从 SAR-Net 中删除了空间关系模块 (Spatial Relation Module,SRM)、疾病关系模块 (Disease Relation Module,DRM) 和上下文关系模块 (Contextual Relation Module,CRM)。结果如表3所示。
表3. 消融实验结果
4. 总结
文章中提出了一种基于结构感知的关系网络（SAR-Net）用于胸部X射线检测和实例分割。SAR网络由三个模块组成，模拟三种类型的关系：1.疾病和解剖结构之间的空间关系。2.疾病与肺部区域的上下文关系。3.不同类别疾病之间的关系。所提出的模块可以嵌入到通用的目标检测框架中，并带来显著的改进。此外，本文作者还设计了包含13种疾病的检测框标注的ChestX Det数据集。
本文作者：段岳（南京大学）
指导教师：史颖欢（南京大学）
本期责任编辑：史颖欢（南京大学）