近年来，信号处理（SP）和机器学习的最新进展，加上医院的电子病历保存以及通过内部/外部通信系统提供的大量医学图像，引起了大家对Radiomics(放射组学)的兴趣。放射组学是一个相对较新的研究领域，是指从医学图像中提取半定量和/或定量特征，以开发预测和/或预后模型。将来，基于放射组学整合图像的衍生特征，有望成为将来个性化治疗的重要一环。传统的放射组学工作流程，通常是基于从分割的感兴趣区域（ROI）提取预先设计的特征。尽管如此，深度学习的快速发展使得基于深度学习技术的放射组学研究成为趋势。除了以上两种方法的优势外，还有一些可利用多种数据源的混合解决方案。考虑到放射组学的方法多种多样，进一步的改进需要一个全面和综合的构思。本文通过讨论放射组学背景下的最先进信号处理解决方案，提供了放射组学独特的跨学科视角。本文发表在IEEE Signal Processing Magazine杂志。

1 背景

大量不同种类的医学成像数据不断增加，以适应医疗诊断需求。一般而言，医疗诊断是指确定疾病的来源和病因。如果是疑似癌症，通常通过多种医疗检查进行诊断，其中包括活检和诊断成像。尽管活检可提供非常丰富的信息，但其具有侵袭性和局灶性，并不能代表整个肿瘤的异质性，而异质性在癌症预后和治疗中至关重要。与活检相比，诊断成像的无创性，可提供关于肿瘤整体形状、随时间生长和异质性的信息，是一种极具吸引力并被广泛接受的活检替代方法。然而，解释如此大量的诊断图像在很大程度上取决于放射科医师的经验，并且由于每次研究的图像数量越来越多，诊断过程可能非常耗时。

放射组学处理大量数据的能力有望破译医学图像中的编码信息，它可全面研究肿瘤表型，并评估组织异质性以诊断不同类型的癌症，由此，放射组学可用于开发预测和预后模型，以达到个性化诊断目的。确切的说，放射组学是指从医学图像中提取和分析几种半定量(例如，衰减、形状、大小和位置)和/或定量特征(例如，小波分解、直方图和灰度强度)的过程，最终目标是获得预测或预测模型。尽管有一些挑战阻碍了将放射组学引入日常临床实践，但在不久的将来，它有望成为整合图像驱动信息以实现个性化治疗的重要组成部分。

值得注意的是，计算机辅助设计(CAD)并不是一个新概念，研究人员以前曾开发了自动系统来研究基于成像的特征与生物特征之间的联系。然而，自2010年以来，该领域被称为放射组学，其与传统的CAD系统相比，有如下几点差异:

（1）CAD系统包含的特征数量要少得多(通常只包含8到20个特征)，而在放射组学中，可从影像中提取数百到数千个特征。

（2）CAD系统的应用通常仅限于疾病的诊断，如区分良性和恶性肿块。然而，放射组学是一个更广泛的领域，包括预测和预后应用。Aerts等人首次进行了放射组学的综合临床应用，涉及1019名肺癌患者。从计算机断层扫描(CT)图像中提取了400多种不同的强度、形状、纹理和小波特征，并与临床信息和基因表达数据一起用于绘制放射组学热图，以显示放射组学与不同临床结果(如癌症分期)之间的关联。该临床研究已阐明/验证了放射组学在肿瘤相关预测中的有效性，并证明了放射组学能够从单个时间点的CT扫描中区分肺癌和头颈癌。因此，最近对该多学科研究领域的兴趣激增，因为放射组学有可能为评估癌症复发风险、评估辐射诱发的非癌组织副作用风险以及预测健康受试者的癌症发生风险提供重要帮助。在Vallieres等人最近的一篇文章中，显示提取的放射学特征对肿瘤体积具有显着的依赖性，这是一个很强的预后因素，并且提出了与肿瘤体积相关性较小的修正计算方法。换句话说，越来越多的放射组学特征和研究被引用，正好说明了放射组学的研究潜力。

放射组学中的关键基本假设是构建的描述性模型（基于医学成像数据，有时由生物学和/或医学数据补充）能够提供相关且有益的预测，预后和/或诊断信息。在这方面，可以确定两大类放射组学。

第一，基于手工放射组学（HCR）特征的传统方法，该方法包括以下四个主要处理任务：1）图像采集/重建，2）图像分割，3）特征提取和量化，4）统计分析和模型构建。

第二，DLR（基于深度学习放射组学）方法是最近出现的并且与前一类不同，因为深度网络不一定需要分割ROI，并且它们的特征提取和分析部分是部分或完全耦合的。我们将在“DLR的最新技术”部分详细说明这些属性。

正在开展和已经开展的临床研究，为推进放射组学在临床应用方面提供了更好的机遇。在“放射组学支持资源”中提供了在放射组学方法中使用的不同筛选技术的概述，以及用于开发基于放射组学的预测/预后模型的支持数据源和可用数据集。尽管放射组学由广泛的(部分互连的)研究领域组成，但每个单独的分支都可能值得进行一次完整的探索研究。本文的目的则是在信号处理领域提供一个放射组学的综合性介绍，在此过程中，我们重点介绍了放射组学背景下信号处理算法的发展。我们旨在从SP角度概述放射组学的现状、机遇和挑战，以促进多学科研究领域的进一步发展和创新。因此，本文将涵盖以下四个主要方面。

1) HCR：在此，我们介绍并研究了在放射组学背景下使用的不同特征提取、特征降维和分类方法。上述任何步骤中采用的大多数技术都属于机器学习范畴，其目的是利用过去的信息(数据)提高不同计算模型的性能。换言之，底层模型能够从过去的数据中学习，从而实现预测和诊断的自动化过程。此外，由于提取了数百个放射组学特征，因此必须采用适当的特征选择/提取策略，以减少“维数灾难”和预测模型的过拟合。这些策略本身大多属于机器学习领域，因为它们都旨在基于可用数据学习最佳的特征集。

2) DLR:在此，我们提供了一个在放射组学中使用的不同深度体系结构的概述，以及它们的可解释性要求。

3) 混合解决方案：这些方案结合了HCR和DLR的优势。

4) 挑战、未解决的问题及机遇:在此，我们将重点介绍放射组学独有处理技术的局限性，并向SP研究人员介绍未解决的问题和潜在的机遇。

图1显示了研究团体对放射组学兴趣的增加。虽然最近有一些文章评论和介绍了放射组学，但据我们所知，大多数都是SP领域以外的文章。信号处理协会内的工作人员，如[19]，已研究了医疗成像设备和技术的最新进展，但未审查放射组学在医疗应用中的作用。SP（信号处理）社区之外的其他现有论文未能清楚地描述底层SP技术，仅将其范围缩小至HCR及其诊断能力。尽管已简要提及深度学习技术是一种可以提取放射组学特征的新兴技术，但尚未研究其在不同深度架构中的适用性。此外，文献[21]的研究专注于HCR，而对DLR只是进行简要说明，并未提及DLR不同的体系结构、可解释性或混合模型相关内容。尽管[22]中涵盖了这两种类型的放射学研究，但未考虑结合使用HCR和DLR特征。此外，也未彻底讨论与放射组学相关的挑战以及放射组学与基因表达(即放射基因组学)之间的关系。最后，[23]的范围限于DLR，未包含HCR的特征、方法稳定性、混合放射组学研究或放射基因组学。通过以往研究可以发现，不管是HCR，DLR还是放射基因组学，都迫切需要将相关研究引入SP研究领域，尤其是因为SP是放射组学的主要组成部分之一。

图1 基于谷歌学术（Google Scholar）的数据（关键词：radiomics）搜索显示，人们对HCR和DLR两种类型的放射组学兴趣均不断增加。

2 应用

尽管自动诊断系统仍处于起步阶段，并且对于临床应用而言不够可靠，但最近的一些研究已经对这些系统进行了相关调查并将其与人类专家进行了比较。例如，Esteva等人利用129450幅临床图像的数据集开发了一种用于皮肤癌分类的深度卷积神经网络（CNN）。该系统的性能经过21名认证的专家进行测试，结果表明它与人类专家的诊断水平相当。该研究表明，自动诊断系统具有实现人类诊断性能的潜力，也可以充当专家角色。与其他新兴技术类似，自动诊断系统也有相应的优点和缺点。例如，这些系统有可能提高临床护理质量并减少医疗错误次数。然而，这些系统与一个主要问题相关：侵犯患者隐私的风险，这就要求严格的法规以确保患者的隐私数据绝对安全。

近年来，放射组学已应用于许多医疗保健应用，包括肿瘤学、心脏病学和神经病学。在心脏病学中，放射组学也用于不同的研究，如鉴定冠状动脉斑块。在神经病学中，它广泛适用于检测阿尔茨海默病和帕金森病。然而，在放射组学的所有应用中，癌症相关主题一直是主要焦点。在下一节中，我们将讨论几种与癌症相关的应用，这些应用证明了放射组学在此领域的成功。

2.1 癌症诊断

确认患者是否患有癌症是最关键也是最敏感的决策之一，须尽可能快的确诊。然而，癌症大多数时候在晚期才被诊断出来，由此减少了接受有效治疗的机会，因为在癌症的早期阶段通常很少有临床症状。然而，放射组学有可能在癌症早期诊断方面提高其准确率。

2.2 肿瘤检测

识别恶性病变对于指导针对性的局部治疗至关重要。例如，如果能聚焦于肿瘤更具“侵袭性”区域(即，异质区域)，放射疗法（使用电离辐射杀死癌细胞的过程）效果会有效得多。将药物输送到目标区域的精确计划的“药物输送”，则是另一个需要关于异常位置的精确信息的临床问题。

2.3 肿瘤分类和属性评级

肿瘤分类是指确定肿瘤的类型。通常，癌症分为以下几大类:良性、原发性恶性和转移性恶性。因为肿瘤与不同的属性相关联，例如它们的边界和球形度，分析这些属性有助于更好地理解肿瘤的形状和行为。

2.4 生存期预测

了解特定疾病接受或不接受治疗的预期寿命对医生和患者都至关重要。医生必须为他们的患者选择最佳的治疗计划，而患者必须知道他们的预计存活时间，以便在生活质量方面做出自己的选择。根据图像特性和肿瘤的异质性，放射组学提供了有关患者存活的重要信息。

2.5 恶性预测

基于某些因素可以区分肿瘤的良恶性，例如它们是否扩散到其他组织。良性肿瘤通常不会扩散到其他器官，但可能需要手术切除，因为它们可能会变大。侵袭前的病变可能多年无活性，但是它们可能会转化为侵袭性的恶性肿瘤，因此必须密切随访甚至用低剂量的抗癌方案治疗。恶性肿瘤会危及生命，也可能会扩散到其他器官，由此需要如化疗般更为复杂的治疗方式。因此，用放射组学这种非侵入性方法进行预测肿瘤恶性预测至关重要。

2.6 复发预测

治疗后的癌症可能会生长或再次出现，这称为癌症复发。因为癌变区域需要切除或治疗，所以没有强有力的标志或证据来帮助预测复发。然而，最近已采用放射组学来帮助解决此类问题，并显示出有前景的初步结果。

2.7 癌症分期

癌症可能在不同阶段被诊断出来。例如，它们可能处于早期阶段，这意味着它们保留在它们首次出现的同一组织中，或者它们可以处于晚期阶段，这意味着它们已经扩散到其他组织。了解肿瘤的阶段对治疗的选择有重大影响。

基于上述类别，表1总结了在各种文章中引入的放射学的不同应用领域，以及它们相关的放射组学方法（即HCR，DLR或两者的组合）。这些表格还提供了与放射组学结合使用的任何补充数据源的信息。

表1 放射组学的应用

3 HCR的最新技术

在临床肿瘤学中，组织活检(即切除癌组织(肿瘤)的一小部分病灶)被认为是诊断癌症的最先进方法。尽管组织活检具有多种诊断特性，并广泛用于检测和研究癌细胞，但其可靠性受到肿瘤在空间和时间上异质性这一事实的限制，因此，活检无法捕获包容性决策所需的所有可用信息。此外，大多数活检都是侵入性的，这限制了该方法的可执行次数。在其他情况下，由于某些患者存在较高的并发症风险，因此活检不是可行的选择。

尽管活检仍然是癌症诊断的金标准，但将其与放射组学(一种非侵入性技术)相结合可以捕获肿瘤内的异质性。与手术活检相比，成像引导活检是一种干预性更少的手术，且并发症更少。换句话说，放射组学可通过检测更多可疑部位为活检提供便利。此外，放射组学还可以为诊断提供补充信息，如，在活检结果为阴性的情况下，放射组学预测模型可以为临床医生提供是否需要再次进行活检的额外信息。

在这一部分，我们将重点介绍HCR的最新研究进展。HCR特征的研究通常包括以下关键步骤:

1)预处理：预处理是为了减少原始数据中的噪声和伪像而引入的，通常包括图像平滑和图像增强技术。

2)分割：分割是HCR工作流程中的关键步骤，因为需要从分割的区域中提取HCR特征，而许多病灶并没有明显的边界。尽管手动勾画大体肿瘤边界是常规(标准)的临床方法，但其不仅耗时而且对不同勾画者的可变性极其敏感。因此需要开发高精度的高级(半自动)分割解决方案，该解决方案还可生成可再现的肿瘤边界。

自动和半自动分割技术可以是常规的方法(即使用预定义的特征将图像像素/体素分类为肿瘤或非肿瘤)，也可以是基于深度学习的(即使用深度网络对图像进行分割)新兴技术。传统技术本身可以分为三类:基于强度、基于模型和机器学习方法。在前一类中，强度被用作像素的主要区别特征。而在基于模型的方法中，目的是通过优化能量函数来改善初始轮廓。然而在机器学习方法中，需要从像素中提取一组特征，包括亮度和梯度，然后将这些特征用作机器学习模型(例如支持向量机(SVM))的输入，以对像素进行分类。然而，常规技术存在几个缺点。例如，肿瘤的密度有时可能与其他组织相似；因此，强度可能不是良好的鉴别器。此外，在基于模型的分割中，能量函数的公式化可能涉及大量参数，这使得能量函数的优化困难且耗时。另一方面，深度学习方法能够学习最能区分肿瘤像素和非肿瘤像素的特征，并且可以以端对端的方式进行学习。深度学习方法，如U-Net的不同变体、“LungNet”架构、DenseNet和混合扩张卷积，目前更常用于医学图像分割。

评估分割方法最重要的指标是根据对比标注数据而得出的精度。然而，由于医学图像并不总能获得数据标注金标准，因此通常使用再现性指标来评估分割算法的性能。例如，[2]使用了基于生成的线段重叠的相似性度量，与手动描绘相比，自动方法的平均值更好。

放射组学工作流程由五个步骤组成，前两个步骤是预处理和分割。其余三个步骤则是:

■特征提取：特征提取是放射组学工作流程中的主要步骤，将在“基于强度的特征”一节中进行讨论。

■特征降维：是放射组学中的另一个关键步骤，因为尽管可以从可用的大图像数据集提取大量定量特征，但大多数特征之间可能高度相关，也可能与当前任务无关，和/或促进模型的过拟合。为了解决这些问题，在“基于形状的要素”一节中讨论了放射组学的特征减少技术。

■统计分析：统计分析是指在“应用”部分所述的特定应用中利用所提取的放射组学特征。我们将在“基于纹理的特征”一节中进一步阐述此类基于放射组学的统计分析。

3.1 放射组学特征提取

放射组学进行特征提取时，可以提取不同类型的特征，通常可分为三类:（1）一阶特征(基于强度和基于形状的特征)、（2）二阶特征(基于纹理的))和（3）高阶)特征。表2进行了不同的潜在特征的总结。但请注意，HCR特征不限于此列表，实际中可提取超过数百个特征(如[5]中，在进行特征降维之前，提取了400个HCR初始特征)。接下来，我们进一步研究最常用的HCR特征类别。

表2 放射组学中常用的不同类型的HCR特征

3.1.1 基于强度的特征

基于强度的方法将多维感兴趣区域转换为单个直方图(描述像素强度的分布)，并从中导出简单的基本特征(例如，能量、熵、峰度和偏斜度)。通过强度特征，我们可以研究肿瘤强度直方图的特性，例如锐度、离散度和不对称度。但是，这些特征对切片厚度等图像采集参数最敏感。因此，设计基于强度的要素时需要特别小心，也要重视数据预处理过程。在所有的强度特征中，熵和均匀性出现频率最高。一般而言，熵度量像素强度内的随机性程度，并且在所有强度以相等的概率(完全随机性)出现时取其最大值。均匀性则是评估像素强度的一致性，并在所有像素值相同时取其最大值。

尽管基于强度的特征计算简单，并且有可能将良性和恶性肿瘤等几种组织与其他组织区分开来，但也有一些缺点。首先，所选的直方图bins数量会对这些特征产生很大影响，因为太小或太大的bin可能无法正确拟合于底层分布，因此，这些特征并不总是可靠。此外，优化直方图bin的数量也可能存在问题，因为这会导致不同ROI的bin数量不同，也很难比较各种研究的结果。

3.1.2 基于形状的特征

基于形状的特征描述了感兴趣区域的几何形状，在对肿瘤恶性程度和治疗反应预测等问题上具有较高的分辨能力方面且非常有用。虽然放射学家通常使用形状特征(也称为语义或形态特征)，但放射组学的目的是在计算机辅助下对其进行量化。这些特征提取自肿瘤区域的2D或3D结构，以定量研究肿瘤的不同形状和大小。

在各种基于形状的要素中，体积、表面、球形度、紧密度、直径和平坦度在放射组学中更为常用。例如，球形度可测量体积或感兴趣区域的圆度，特别适用于预测肿瘤的恶性程度，因为良性肿瘤通常比恶性肿瘤更像球体。紧密度是根据球形度定义的，因此无需同时计算这两个值；它们中的一个很可能被以特征冗余为目标的特征选择方法排除。

3.1.3 基于纹理的特征

基于形状和基于强度的特征无法提供有关给定图像上不同像素之间相关性的有用信息。在这方面，基于纹理的特征是最为实用，特别是对于组织异质性起重要作用的研究，因为基于纹理的特征可以捕获相邻像素之间的空间关系。在放射组学中，通常基于不同的描述性矩阵提取基于纹理的特征。其中，GLCM、GLRLM、NGTDM和GLZLM是最常用的

■GLCM模拟像素强度的空间分布，可以通过考虑所有强度值对的出现频率来计算。从GLCM提取的特征是放射组学中最常用的纹理特征。每个GLCM都与两个预定义参数相关联，其中θ和d是图像维度内允许的任何整数距离：

■GLRLM定义了具有相同强度值的相邻像素的数量，例如，GLRLM矩阵的(i，j)元素确定了强度值i在θ方向上与j一起出现的次数。

■基于图像视觉特征的NGTDM是一个矢量，其第k个元素被定义为强度值为k的所有像素与其邻域的平均强度之间的差异的总和。

■GLZLM在矩阵中寻找区域。区域可以定义为共享相同强度像素/体素的集合。GLZLM的（i，j）表示第i个元素对应于强度为i和尺寸为j的区域的数量。

3.1.4 高阶放射组学特征

经小波和傅里变换等方式获得的高阶特征可捕获各种频率的成像生物标志物。小波特征是放射组学中使用频率最高的高阶特征。小波粗系数和细系数分别表示纹理和梯度特征，计算方法是将图像乘以一个矩阵（包括复杂的线性或径向“小波母函数”）。傅里叶特征也可捕获梯度信息。闵可夫斯基函数(MF)是另一种常见的高阶特征提取器，它考虑强度高于预定义阈值的像素模式。综上所述，MFs最初是通过利用在最小和最大强度限制内的几个阈值来形成ROI的二值化来计算的。虽然使用的阈值数量是一个自由参数，但为了获得更好的结果，应通过科学的选择机制进行确定(通常使用经验检验)。基于二值化的ROI，不同的MFs如面积和周长可如下计算:

其中ns 和 ne分别是白色像素(超过阈值)和边缘的总数。

以上，我们就完成了对放射组学中使用的特征提取方法的介绍。

3.2 放射组学特征降维技术

特征降维是放射组学的另一个关键步骤，因为尽管可以从图像数据集中提取到大量定量特征，但其中大部分特征之间高度相关，其与研究任务无关，和/或导致模型过拟合（即，使其对噪声高度敏感）。特征降维方法可以分为有监督和无监督两类，如表3所示。有监督方法（例如过滤和包装方法）考虑了特征的区分能力，并可以根据预定义类别进行数据区分。相反，包括主成分分析（PCA）、独立成分分析和方差阈值法等无监督方法旨在减少冗余特征。

总之，在减少放射组学中的特征空间时，可以定义各种目标。本研究为特征选择目的定义了以下关键特征：

■可重复性：这些特征（也称为稳定特征）对预处理和手动注释更为稳健。这些功能将在“放射组学稳定性”部分中讨论。

■信息性和相关性：这些特征是与目标变量高度相关的特征。例如，卡方检验计算特征和类变量之间的卡方统计量，因此，对目标影响较小的特征则被丢弃。Fisher评分测试方法计算特征的方差，方差较高的特征被视为信息量较大的特征，则被保留。

■冗余：非冗余特征彼此之间的相关性很小。特征冗余可理解为先前已经选择过的特征，在后来的分析再次出现。如果特征之间的相关性很强，则存在特征冗余现象。

3.2.1 有监督的特征选择方法

特征选择的有监督方法通常分为两类。

■过滤(单变量)方法:这些方法在考虑要素与类标签之间的关系时，是单个变量进行的，没有考虑特征之间的冗余性。在所有过滤方法中，基于Wilcoxon检验的方法表现出更高的稳定性。Wilcoxon检验是一种非参数统计假设检验技术，用于确定两个不同特征集间的依赖关系，即它们是否具有相同的概率分布。

■包裹(多变量)方法:过滤方法忽略了特征之间的关系，这影响了包裹式方法的发展。与过滤方法相比，包裹式方法研究不同特征子集组合的预测性能，相关性和冗余度的加权和作为性能评分。然而，由于计算能力限制，这类方法无法测试所有可能的特征子集。

包装方法包括逐步加入特征和逐步删除特征两种方法。在逐步加入特征进行特征选择时，特征集以一个空集开始，并分别计算所有特征与其类标签的相关性。因此，会选择相关性最高的要素并将其添加到集中。紧接着，将剩余的特征逐个添加到该集合中，以测试所获得的集合的性能，并持续该过程，直到特征加入仍无法提高模型预测性能为止。逐步删除特征选择法与逐步加入特征选择法完全相反，它从包含所有可用特征的集合开始，逐渐减少特征，直到减少特征也无法提高性能为止。

由于有监督方法是基于类标签进行学习训练模型，因此会出现过拟合情况。并且基于给定的特征集进行的训练模型，可能在别的研究中无法使用。

3.2.2 无监督的特征选择方法

无监督方法通过移除冗余特征(即相关但不提供任何附加信息的特征)来降低特征空间的维数。虽然这些方法不容易出现过拟合，但并不能保证得到的是最优的特征空间。无监督方法又可以分为线性方法和非线性方法，其中线性方法假设特征位于线性空间上。因为在放射组学研究领域，通常使用较为简单和基础的无监督学习算法，如主成分分析，所以本文未涉及太多介绍。但是，这为在SP研究中开发更先进的基于统计的降维解决方案提供了机会。

3.3 放射组学统计分析

统计分析是指利用提取的放射学特征进行癌症诊断、肿瘤分期、生存分析等特定研究，详见“应用”部分。虽然大多数统计方法最开始并没有对特征的重要程度进行区分，并对所有预测因子均使用相同权重，但在放射组学领域，最成功的方法是利用专家的先验信息对特征进行相应假设。[5]和[9]中采用聚类方法对所提取的特征进行放射组学分析，并在聚类结果和临床结果之间寻找关联。例如，属于相同类别的患者可能有相似的诊断结果。观察结果显示，图像生物标志物与肿瘤恶性度等临床结果相关。层次聚类是放射组学中最常用的方法。但是，研究通常没有针对目标预测目的对聚类方法进行训练学习，因此必须使用根据预定义的类别标签训练特定的预测模型。放射组学的预测方法分为以下两种模型：

1)分类与回归模型，与其他多媒体领域相似，都是以预测离散型或连续型变量为目的。随机森林(RF)、SVM和Knn是最常用的回归和分类技术。

2)生存分析，是指与时间相关的模型，被用来预测患者的生存时间。这些模型也可用于测试新疗法的有效性。

表4汇总了几种放射组学分析方法。由于属于前一类(分类和回归模型)的预测因子在其他多媒体应用中也很常见，因此本文未详细描述。然而，生存分析在放射组学的应用中更为贴合，因此，我们讨论了该类别中三种最常见的方法：Kaplan-Meier(KM)生存曲线、Cox比例风险(回归)模型(PHM)和对数秩检验。

3.3.1 KMS曲线

KMS曲线表示用于测量给定时间点t下的存活概率S（t）轨迹，即：

可以计算所有放射学特征的KMS曲线，以评估不同特征对患者生存的影响，计算步骤如下：

1）选择要计算KMS曲线的所需特征。

2）基于所选择的特征，设定一个或多个阈值，其可以将患者分成不同组别，例如低风险和高风险癌症患者，然后根据患者的相关特征是高于还是低于阈值确定患者所属组别。

3）计算所有获得组的KMS曲线，结果可用于比较不同状态下的患者的存活率。例如，在文献[5]中，高异质性特征与较短的存活时间相关，而高紧密性特征与较长的存活相关。

3.3.2 Cox (回归) PHM

Cox(回归)PHM通常用于医学领域，该算法根据一个或多个预测因子(称为协变量)，如放射特征，去预测患者的生存期。PHM模型的输出用h(t)表示，代表特定时间t时死亡的风险，可以通过以下公式计算：

其中xi是预测因子(协变量)，bi为预测因子的权重。公式中的指数项就是风险大小，通常被假设为特征的线性组合，即：

然后通过基于历史数据的训练过程来计算风险系数(bi，for(1≤I≤1))。更现实地说，Risk可以是一般的非线性函数，即Risk=f(x)。非线性是通过深度学习架构进行训练学习的，这还没有在放射组学的背景下进行过研究。

3.3.3 对数秩检验

log-rank检验用于比较两个样本的存活率，尤其是当这两个样本接受了不同的治疗时。这种检验是一种非参数假设检验，用于评估两条生存期曲线是否存在显著差异。与对数秩检验相关的一个限制是样本大小会影响检验结果，因此，样本量的扩大仍是一个基本需求。

3.4 HCR评估

总之，要获得成功的HCR研究，需要进行精确设计，以选择最佳的特征提取、特征降维和分析方法组合。有几项研究试图找到导致结果差异的重要因素，例如，最近在文献[8]中通过方差分析研究了设计选择的影响，结果表明，特性选择会显著影响最终预测精度。另一方面，文献[17]和[74]已经得出结论，对于头颈部和肺癌分类任务中，分类方法是性能变化的主要原因。文献[8]、[17]和[74]的结论性意见之间的差异表明，研究方向选择的影响可能因应用而异，因数据集而异，因特征集而异。

最后，需要注意的是，与其他领域相比，报告准确性在放射组学中的信息度量程度较低。在医学领域，预测错误的概率是不对等的，如对阳性和阴性样本进行分类。因此，在放射组学中，能够区分假阳性(FP)和假阴性(FN)误差的测量方法更受青睐。其中一项指标是接受者工作特性曲线下的面积（即AUC），通过该指标可以研究不同判断阈值对FP和FN的影响。混淆矩阵是另一种常用且有用的评估方法，用于检验放射组学分类器的性能，包括其FFP率和FN率。在实践中，医疗领域的大多数决定都是概率性决策，医生在确定决策阈值时通常会考虑多个因素，如特定判断所带来的坏处和好处。然而，这些因素并未在放射组学中进行量化和利用，这就需要对包含医生常用因素的潜在解决方案进行广泛调查。

3.5 放射组学的稳定性

放射组学的一个重要方面是特征提取的稳定性，它量化了特征与预处理步骤之间的依赖程度。放射组学技术的稳定性通常根据以下两种技术中的任意一种进行评估:

1)测试/重测：该方法对患者进行多次影像学检查，并单独采集图像。然后从所有获得的影像集中提取放射组学特征并进行分析。这里，不同图像集的不变性说明了放射组学特征的稳定性。

2)观察者间可靠性：该方法是指一个实验流程，要求多个观察者从同一幅图像中描绘出感兴趣区域，并从所有不同的描绘中提取放射特征，以测试它们在分割变化中的稳定性。这里，不同观察者的分割ROI所提取特征的不变性说明了放射组学特征的稳定性。

使用不同的稳定性标准来确定放射组学中的稳健特征，现将这些标准简述如下。

1)组内相关系数(ICC)：这是一种用于测量放射组学特征稳定性的方法，简称ICC。该方法均可用于上述两个类别(即测试/重测和观察者间可靠性)。ICC定义为要素可靠性的度量，取0到1之间的值，其中“0”表示无可靠性，“1”表示完全可靠。将术语BMS和WMS定义为受试者之间和受试者内部的均方值(方差的度量)，其是根据测试/重测设置的单因素方差分析(ANOVA)计算得出的，ICC可估计为：

其中N为重复检查次数，通过将EMS定义为双向ANOVA的残差均方，将M定义为观测器数量，对于观察者间可靠性，ICC可计算如下:

2)Friedman检验：Friedman检验尤其适用于评估观不同观察者的稳定性，它是一种非参数重复测量，用于估计多个观测值的分布之间是否存在显著差异，并且不需要服从高斯分布。基于该检验，最稳定特征的稳定秩为“1”。

文献[5]说明了稳定性较高的放射性特征具有更好的预测性能，因此，稳定性分析也可以理解为一种特征降维技术。根据文献[9]可知，高斯拉普拉斯、基于强度和纹理的特征对于肺部CT图像更稳定，而小波和基于形状的特征对分割的变化敏感。然而，也有其他影响特征稳定性的变化源(分割步骤除外)，其中之一是图像强度离散化方法，该方法尤其对纹理特征有很大影响。医学图像的离散化主要有两种方式：第一种是对所有图像采用固定的bin大小，第二种是使用固定数量的bin。尽管结果表明两种方法均可获得取决于强度分辨率的纹理特征，但第一种方法(固定大小的bin)可获得更稳定的特征。然而，纹理分析需要标准化强度离散化方法，其才能作为一种有意义和可靠的放射组学技术。

最后，值得一提的是，图像生物标志物标准化倡议是一项国际合作，旨在为放射性组学的可重复性挑战提供定义、指导策略和放射组学步骤。其提供的指南涵盖了放射组学分析流程的几个步骤，从图像采集、图像预处理和图像分割到特征计算。为了总结我们对HCR的研究结果并详细阐述其应用，我们在“肺癌分析的放射组学”中提供了一个例子，其中研究了基于放射学的肺癌分析的详细问题。

3.6 放射基因组学在DLR的最新技术

放射性组学通常与基因组数据相结合，被称为放射性基因组学。换言之，放射基因组学是指疾病的影像学特征与其基因表达模式、基因突变等基因组相关特征之间的关系。成像结果与分子诊断数据之间的潜在关联可作为患者治疗反应的预测因子，并为临床护理环境中的决策任务提供重要支持。因此，放射基因组学有可能在不使用活检等侵入性方法的情况下研究癌症。使用各种关联的挖掘和聚类方法来确定基因表达与放射组学之间的关系；例如，在[3]中，发现仅28个放射特征就能够重建人肝癌细胞中78%的全局基因表达。

要评估基因表达与良性和恶性肿瘤等离散型数据之间的关联，应首先根据基因的区分能力对其进行排序。然而，放射基因组学的目标是发现基因表达和放射组学特征之间的联系。因此，辨别能力是不可定义的。Spearman秩相关(SRC)系数可用于测量特定放射特征与基因表达之间的相关性。然后根据基因的SRC系数而不是区分能力对其进行分类。有序基因通常存储在列表L中，传统方法关注列表L中的顶部和底部基因，他们分别表示具有最强正相关和负相关的基因。然而这种方法受到几个方面的限制（如生物性解释困难），因此又引入了“基因集富集分析”(GSEA）。GSEA方法是使用最广泛的放射基因组学方法之一。每个基因集S是一组在先前的生物学知识方面相似的基因（例如参与了共同的生物学途径）。GSEA分析的目的是确定给定基因集S的特征是倾向于出现在列表L的顶部还是底部。在这种情况下，该基因集的表达与特定的放射组学特征相关联。如图2所示，使用GSEA分析的放射性基因组学结果是一张热图，代表了所有基因集和放射性特征之间的关联程度。

图2.采用GSEA方法进行放射基因组学分析。首先根据基因与放射特征的关联对基因进行分类，然后根据有序基因列表中的基因集模式形成最终的热图。

放射基因组学的主要作用是，它允许基于对临床结果和基因组学之间关系的先验知识来利用不完善的数据集（其中难以收集临床结果或需要延长收集期）得出新的结论。例如，在一个研究项目中，可能有影像学数据和基因组相关数据，但没有临床结果。如果事先了解基因组学与某些临床结果的关系，那么通过将影像数据与基因组学相关联，可以得出影像数据与临床结果之间关系的新结论。在这种情况下，基因组学可以填补知识空白。

如果您对机器学习及磁共振脑影像数据处理感兴趣，欢迎浏览以下内容（可添加微信号siyingyxf或18983979082咨询）：

第十三届脑影像机器学习班（南京，12.13-18）

第十一届磁共振脑影像结构班（南京，1.12-17)

第八届任务态功能磁共振数据处理班（南京，3.2-7）

第一届任务态功能磁共振提高班（3.9-14）

第三十六届磁共振脑影像基础班（南京，2021.1.6-11）

第十五届DTI数据处理班（南京，12.26-31）

第七届小动物脑影像班（南京，12.20-25）

第十九届磁共振脑网络班（南京，1.18-23)

第三十五届磁共振脑影像基础班（重庆，11.30-12.5）

第三十七届磁共振脑影像基础班（重庆，1.23-28）

第七届任务态fMRI专题班(重庆，1.14-19）

第二十届磁共振脑网络数据处理班（重庆，2月27-3月4日）

思影科技功能磁共振(fMRI)数据处理业务

思影科技弥散加权成像（DWI/dMRI）数据处理

思影科技脑结构磁共振成像数据处理业务（T1)

思影科技啮齿类动物（大小鼠）神经影像数据处理业务

思影数据处理业务三：ASL数据处理

思影科技脑影像机器学习数据处理业务介绍

目镜式功能磁共振刺激系统介绍

4 DLR（深度学习放射组学）的最新技术

DLR(有时称为发现放射组学或放射组学序列发现，序列指特征)是根据预定义任务(包括但不限于疾病诊断、癌症类型预测和生存期预测)的要求，从医学图像中提取深度特征的过程。可以通过不同的架构(即，线性和非线性函数的堆栈)，例如CNN或自动编码器提取DLR，以从输入中找到最相关的特征（图3所示为深度特征提取示意图），然后，提取的特征可以通过深层网的其余部分进行分析和决策。提取的深度特征也可以通过不同的分类器进行相关分析，例如SVM或决策树(DT)。常用的radiomics深度体系结构将在“Radiomics深度学习体系结构”一节中讨论。

图3 深度特征提取示意图：网络的输入可以是原始图像、分割的感兴趣区域或两者的组合。提取的放射组学特征将用于网络的其余部分，或者使用外部模型根据放射组学特征作出决策。

4.1 DLR相对于HCR的优势

使用DLR的一个主要好处是：无需对感兴趣区域进行精准分割，将原始图像输入深度学习网络便可提取放射组学特征，这一优势从以下两个方面进行解释。

1)DLR将手动勾画ROI的负担从专家和放射科医生身上解除，去除分割步骤可以大大减少算法计算时间和成本。此外，手动标注的数据高度依赖于观察者，因此提供的组学特征稳定性较差。

2)采用自动分割算法对ROI进行分割，算法精度有限，导致分割过程容易出错，并且分割精度堪忧，以至于无法用于敏感的决策过程。此外，深度学习网络的输入可以是原始图像、分割图像，或是预处理后的图像，亦或是他们的任何组合。对于输入的图像，通过三维连接方式进行匹配。各种图像的输入类型可以是不同角度的图像，如冠状位和横轴位图像。

一般来说，可以从以下几个方面对DLR的研究进行分类。

1)输入层次：深网的输入可以是与特定患者相关的单个切片、整个体积、甚至是整个影像检查图像。每种情况都需要自己的处理方法，例如，当处理输入的整个体积时，应考虑不同患者不同层数的处理。递归神经网络(RNN)可以允许不同输入，我们将在“放射组学的深度学习架构”一节中对其进行简要讨论。

2)预训练模型和原始模型：根据可用数据集的大小以及研究者时间规划安排，可以对预训练模型进行微调，也可以从头开始训练原始模型。这将在“预处理或原始模型”一节中进行更全面的分析。

3)深度学习网络体系结构：选择深度网络是提取有意义和实用的DLR时最重要的决定，这将在“放射组学中的深度学习网络体系结构”一节中讨论。

在本节的后续部分，我们将从输入层次结构、预处理模型与原始模型以及深度学习网络架构等不同角度回顾深度放射组学的现状。图4显示了不同DLR方法的分类，为本节的其余部分提供了指导。

图4 DLR的分类。
CAEs:卷积自动编码器；DAEs:降噪自动编码器；DBNs:深度信念网络；DBMs：深玻耳兹曼机

4.2输入层结构

如图5所示，DLR研究的输入图像可分为三个主要类别：切片级别、体积级别和患者级别。切片级分类是指对图像切片进行相互独立的分析和分类。但是，这种方法的信息量太少，因为我们通常需要基于整个感兴趣区域体积（3D）所对应的标签来作出决定。

切片级分类的缺点让体积级分类的方法得以发展，体积级分类是指通过投票系统融合切片级输出的结果，或者将与体积相关联的所有图像切片用作分类器的输入。最后，患者级分类是指根据一系列研究(如多次CT随访成像)为患者分配标签。例如，文献[58]中根据一系列CT影像进行恶性肺肿瘤概率预测，实现患者级分类探索。为了达到这一目标，最初，研究者训练一个简单的三层CNN模型来从与单个CT序列（体积级分类）相关的肿瘤斑块中获得预测结果，其目的是将预测的恶性肿瘤率与实际发生率之间的差异最小化。然后，采用一个事先训练过的CNN，计算属于病人的所有序列的恶性率，并通过选择最大恶性率来做出最终决定。换言之，如果至少有一个预测的比率高于预定的恶性肿瘤率，则患者被诊断为恶性肺癌。

4.3预训练模型和原始模型

与其他医学领域类似，DLR可以基于以下两种方法之一进行提取。

4.3.1 新模型训练：

从头开始训练深层网络以提取DLR的优势在于，网络可以完全根据眼前的具体问题进行调整。然而，由于过拟合和类别不平衡，新的训练模型预测效能可能有限。研究需要保护患者隐私，也需要专家提供真实标签以作为预测金标准，这些条件通常会限制可用于提取DLR的医学数据集的数量，从而导致深度学习网络的过拟合问题。第二个问题是类别不平衡问题，即正类和负类的数量不相等。当诊断为异常的患者数量通常少于健康受试者的可用数据量时，就会发生这种情况。通常情况下，由于类别失衡缘故，即阳性标签的数量少于阴性标签的数量，从而使分类器预测结果偏向于阴性类别。这样的预测结果比将阴性结果预测为阳性结果更糟糕。我们可以采取以下方法来解决这两个问题。

1)数据增强:可将对现有数据进行不同处理（如旋转），以生成新的样本进行训练。此外，subpatch扩展是放射组学中常采用的另一种增强形式，通过从原始图像中提取几个随机固定大小的subpatch来处理数据不足的情况。

2）多任务训练：此方法用于处理类不平衡和数据不足问题，它通过减少参数的数量并因此降低过拟合的风险来实现。例如，在文献[44]中基于MRI数据训练多任务CNN模型，进行脊柱异常分类。这种情况下的多任务，是指通过相同的统一网络同时执行不同的分类任务。损失函数定义为与不同分类任务相关的所有损失的加权总和。在多任务学习中做出的一个重要决定是确定分支起始点，例如，在[44]中，训练了一个统一的CNN，其中共享所有卷积层来执行不同的分类任务，但任务从全连接层开始分离，后续进行各自的分类任务。

3)损失函数修改：DLR提取中处理类别不平衡的另一种常用方法，是通过赋予少数类别更大的权重来修改损失函数。

4.3.2通过预先训练的网络进行迁移学习

类别不平衡和训练数据不足的另一种解决方案是“迁移学习”，再进行“微调”。迁移学习阶段是指使用自然图像数据集训练深度学习网络。在微调阶段，将使用所需的医学数据集对训练的网络进行再训练。文献[42]中即采用了迁移学习方式，其中预训练的CNN用于基于乳房X线图像的乳腺癌分类。该研究所使用的预训练CNN模型是Alexnet，该算法过于复杂并且在小型数据集中易于过度拟合。因此，该网络首先使用Image Net数据库进行预训练，该数据库由100多万个自然图像组成。文献[46]中还采用了基于ImageNet的预训练CNN进行肺癌生存预测。

4.4 放射组学中的深度学习架构

可以通过区分性和/或生成性的深度学习网络提取放射组学特征。从其名称可以看出，区分性的深层网络模型想要提取使得不同类别(例如，正常的或癌性的)可区分的特征，因此，这些模型可以从所提取的特征直接对实例进行分类。另一方面，生成性模型是无监督的，即它们是在不考虑类别标签的情况下训练的。一般来说，这些模型的目标是了解数据分布，以便能够从同一分布生成新的数据。生成模型可以提取数据的自然和代表性特征，然后将其用作分类器的输入。此外，在放射组学领域，通常会训练生成模型，然后将学习到的权重用作判别模型的初始权重。在本节中，我们将介绍在放射组学中广泛使用的判别性和生成性深度学习网络模型。

4.4.1 判别性模型

（1）CNN

CNN是结合了非线性激活函数和池化层的一堆执行卷积滤波的层网络。它最近取得的成果使其成为医学领域(如放射组学)的流行架构。CNN在整个输入中使用了共享权值，以至于减少了可训练参数的数量，让它在实际研究中更为实用。与手工提取特征不同，卷积层中使用的核不是预先确定的，而是通过训练过程自动学习的。因为该算法的灵活性且不需要先验知识即可应用，使得CNNs成为提取DLR特征的适用方法。在文献[55]中，由CNN提取的DLR投影到二维空间中可以在视觉上区分出肺肿瘤的良恶性，而原始的像素值完全达不到该区分效果

在放射组学领域采用CNN时，全连接层的输出通常被视为DLR特征。这些特征随后在原CNN内使用，以提供所需的(分类和/或回归)输出，如癌症类型。或也可存于网络，以作为输入提供给其余的放射组学分析流程。如文献[46]中，从CNN的分类(SoftMax)层前一层提取DLR，以预测肺癌生存期为目的。这些特征被称为预激活线性单位(preReLU)和后ReLU特征，因为它们是在应用ReLU激活函数之前和之后提取的。经过特征选择算法后，DLR特征用于四个分类器(即朴素贝叶斯、最近邻、DT（决策树）和随机森林（RF）)作为输入数据。

放射组学中使用的CNN架构可以分为三大类：1)标准架构，2)自设计架构，3)多CNNs。在本节中，我们将描述这些类别，并包括放射组学的示例。

1） 标准CNN架构

顾名思义，标准体系结构是那些以前为解决特定问题而设计的体系结构，由于它们的成功应用，现在正被用于放射组学研究。目前，LeNet和AlexNet两个架构用于放射组学中。LeNet是最简单的CNN架构之一，共有七层。然而，研究人员为获得更高的性能，已经对这个网络进行了相关修改。例如，在文献[10]中使用的CNN是具有总共九层的LeNet架构，包括三个卷积层、三个汇集层和一个完全连接层，该架构将肺部肿瘤分类为良性或恶性。放射组学中另一个常用的标准架构是11层Alexnet，它在文献[42]中被用来从乳腺钼靶图像中提取DLR特征。从所有11层中提取特征，并用作11个支持向量机的输入，目的是将乳腺肿瘤分类为良性或恶性。由于不清楚DLR特征的哪一组(即11个底层的哪一个输出)更实用，因此研究对这些支持向量机进行比较，最终选择曲线下面积最大的一个模型进行乳腺癌的预测分析。文献[42]中的结果得出结论，从第9层(最后一个完全连接的层和分类层之前的完全连接的层)提取的特征是乳腺癌的最佳预测器，并且与先前的特征相比，它们维数更低，直接降低了计算成本。也就是说，该研究与[46]相反，它选择全连接层之前的最后一个卷积层的输出作为DLR特征。

虽然AlexNet是一个强大的网络，但它对小数据集来说参数太多，因此容易过度拟合。因此，文献[15]使用了五层的Alexnet，以避免过拟合问题。这个网络的输入是CT和正电子发射断层扫描(PET)图像的组合，每个图像都有三个通道：一个是由专家指定的对应于肺结节中心的切片，另外两个是相邻的切片。该研究的目的是将肺部肿瘤分为良性或恶性，虽然采用的CNN并没有比经典方法(即HCR)高得多的准确性，但它更为方便，因为它不需要对感兴趣区域进行分割，省了大量的人力和不稳定因素。

Inception network是放射组学中采用的另一种CNN。该网络包括在同一层内具有不同内核大小和池的并行卷积，其总体目标是允许网络学习最佳权重并选择最有用的特性。CNN最初用于检测糖尿病视网膜病变[76]。这篇文章是美国食品和药物管理局批准的第一篇基于深度学习的糖尿病视网膜病变检测工作。

2） 自行设计的CNN

与使用标准CNN研究者不同的是，有些研究者基于实际的放射组学问题设计了他们自己的CNN架构。例如，文献[41]使用了一个具有三个卷积层的CNN来提取DLR特征，虽然CNN本身是使用这些特征来训练肿瘤良恶性分类模型，但该研究中，通过CNN提取的DLR特征被用于决策树分类模型。

文献[43]也采用了类似的方式，使用一个带有6个卷积层和一个全连接层的CNN来提取DLR，从而解决了脑瘤的分类问题。然而，不同于前面的设计网络，该CNN是为肿瘤分割而开发的，而且“特征提取自最后一个卷积层，因为它们对输入的转化和标准化更具鲁棒性”。也就是说，该研究设计了用于分割的CNN，经过训练后，使用最后一个卷积层的输出作为DLR特征。由于提取特征的质量取决于感兴趣区域分割的准确性，当分割精确时，放射组学特征的质量是有保证的。由于分割的重要性，越来越多的CNN架构被开发出来，其中一个就是全卷积神经网络(FCNN)。在FCNN中，全连接层被重写为卷积层，如此便可不需要固定输入大小。将该网络扩展到三维图像分割中，可以同时分割多个目标。为了降低FP率，FCNN进一步与图形模型（如马尔可夫随机场和条件随机场）相结合。最后，为了提高输出分割图像的分辨率，提出了U-Nets模型，模型包括上行卷积以增加图像大小和跳过连接以恢复空间信息等步骤。

在文献[47]中也研究使用了CNNs用于肺癌检测，不同之处在于网络的输入。该CNN网络的输入不仅是原始图像，而且是结节增强和血管增强图像，这意味着为模型提供了更多关于肿瘤和血管的信息，以降低模型将这两者位置匹配错误的风险。这里主要重点是在保持灵敏度高的同时降低FP率。因此，一开始就选择了大量的结核患者为模型输入做准备。在[45]中，文献进一步研究了CNNs的使用。该研究基于下采样的体积CT图像及其分割结果，使用一个七层CNN架构用于寿命预测。在文献[48]中，提供了一种称为XmasNet的架构，可以最大限度地提高前列腺癌诊断的准确性。这个网络由四个卷积层、两个全连接层、两个池化层和一个用于癌症预测的SoftMax层组成。这个网络的输入是3D MRI图像。

总之，自行设计的CNN是通过改变网络的深度（卷积层和非卷积层的数量）、层叠的顺序、网络的输入类型（例如，单通道或不同形式的多通道）和/或输出被视为DLR特征的层来开发的。

3） 多种CNN

除了使用标准或自行设计的CNN外，一些研究人员还提出使用多个网络的CNN。这些网络受益于多个不同的输入，且不同的网络具有不同的模式、范围和角度（图6）或具有不同性质的不同架构。“范围”是设计输入结构时需要考虑的一个重要因素。例如，为了区分肿瘤和血管，输入切片中应包含足够大的区域。而要区分实体肿瘤和非滑动肿瘤，则应以结节区为主要核心。考虑到这一点，文献[59]设计了一个用于肺部肿瘤分类的CNN架构，其中输入不仅来自不同角度（矢状、冠状和轴向）的影像，而且影像包含不同的范围。按照类似的思路，文献[50]还设计了一个多CNN架构，其中每个CNN以特定比例的肺部肿瘤切片（见图6）作为输入，并生成相关的DLR特征。然后将从所有CNN中提取的特征串接起来，通过一个传统的分类器（即SVM）用于肺癌的恶性预测。此外，使用肿瘤切片不仅可以提供关于肿瘤本身的信息，而且还可以提供肿瘤周围组织的信息。由于肿瘤大小在患者之间存在很大的差异，因此使用不同范围的切片代替单个切片将提高提取的DLR特征的整体性能。此外，这类多CNN体系结构的一个特性是，由于多CNN架构共享评估参数，所以可以在合理时间内进行模型的有效训练。使用多个CNN架构的另一个好处是，对于输入中添加的小噪声数据使得网络更具鲁棒性。

图6 CT扫描下肺的不同角度以及三种不同比例下的肺肿瘤范围

与文献[50]中的研究类似，文献[56]设计了一个多视图CNN模型。它使用七个不同范围的切片作为输入，不同的是这些切片的大小被调整为相同的尺寸。因此，可以使用单个CNN替代多个CNN。这项工作还将肺肿瘤的二分类扩展到三分类：肺肿瘤分为良性、原发性恶性和转移性恶性。此外，除了精度和AUC等常用评价指标外，本文还采用了另一种被称为可分性的验证方法。可分性是指不同类别基于其学习特征的可区分程度，根据前述文章，所提出的多视图CNN比单尺度CNN具有更高的可分性。除此之外，随着层数加深，可学习具有更高可分性的特征。

在文献[55]中，通过设计一种称为多裁剪CNN的新颖CNN架构，进一步扩展了使用多尺度图像切片的思想。在这种结构中，通过并行池化层提取多尺度特征，而不是在不同尺度上获取输入特征。其中一层是将池化应用于前一层输入的裁剪版本，然后将来自多个池化层的特征连接起来并输送到下一层。三维肺部CT图像是该网络的输入，由于多个CNN被一个CNN代替，因此可以节省更多训练时间。除了预测肺部肿瘤的恶性程度，该研究还预测了与肿瘤相关的其他属性(如直径)，方法是用回归层替换最终的SoftMax层。请注意，此网络并未同时执行所有任务，而是一个一个地执行，这使该网络有别于“预处理或原材料”一节中讨论的多任务训练网络。

在[51]中，通过多个CNN的放射组学进一步探讨了使用MRI诊断阿尔茨海默病。其中，在CNN的第一阶段，根据正常和异常大脑的比较检测出几个标志点。这些标志点随后被用来提取切片，因此，每一个CNN都是通过将对应于特定标志点的切片作为输入来训练的。最后的决策是根据所有CNN结果进行投票得出的。这里，使用多重架构背后的想法是，检测阿尔茨海默病需要检查大脑的不同区域。

总之，为DLR特征提取而开发的多种CNN方法是通过融合基于特定输入训练的多个CNN输出，或者是在单个网络中嵌入多路径层来修改前一层的输出来设计的。

上述所有CNN架构的一个共同挑战是，它们没有考虑对象之间的空间信息。例如，他们可能没有考虑到组织内异常的位置作为其类型的指标。下一节中新提出的称为CapsNets的深层架构就是为了克服这个缺点而引入的。

（2）CapsNets

尽管CNN在许多医学和非医学分类问题中是最先进的，但它们易受若干缺点的影响，包括模型可解释性低及忽略图像元素之间的空间关系导致错误分类等。此外，CNN在对某些类型的转换时鲁棒性较低。与池层相关的空间关系信息丢失由新提议的CapsNets解决，该CapsNets由卷积层和主囊层组成，可以处理更多类型的转换。这些深层体系结构能够考虑对象位置之间的关系，并通过其按协议路由过程容忍更多类型的转换，这表明不会将对象分类为特定类别，除非此对象的较低级别的元素同意该类别的存在。CapsNets的另一个重要特性是，它们可以处理较小的数据集，而大多数医疗领域研究数据量较小，因此适用性更强。在此，我们将解释CapsNets的体系结构(如图7所示)，以及它们的处理过程。

图7 CapsNets架构。使用卷积层来形成主囊层，并且基于这些囊层之间的一致性来做出决定。Conv:卷积。

囊层是一组神经元，其活动向量由不同的实例化参数组成，活动向量的长度代表了特定实例出现的概率。初级囊层中的每个囊都试图预测下一层（母囊）中所有囊的结果。但是，这些预测以不同的系数输送到下一层，该系数基于实际输出与预测的一致程度。这种在耦合囊层之前寻找一致性的过程则称为协议路由。这是CapsNets最重要的特性，它使囊层考虑对象之间的空间关系，因此对几种类型的变换（如仿射变换和旋转）具有鲁棒性。将ui定义为初级胶囊层中胶囊i的输出，胶囊j、u j | i的预测计算如下，其中Wij是反向传播中要学习的权重矩阵：

因此，Cij，即囊层i和j的耦合系数，是根据这两个囊层之间的构象程度来计算的。基于这样一个想法，即如果两个载体一致，它们将有一个更大的内积，并且母囊层j，sj的输出可按一下公式进行估计：

最后，将一个非线性函数应用于sj，使其值始终保持不大于1（存在概率）。

在本节中，我们进一步研究了CapsNets在放射组学中的初步应用。[37]探索了各种CapsNet架构以选择最大化预测精度的架构，从而导致与原始囊网络（256个滤波器）相比，选定的网络具有更少的卷积滤波器（64个滤波器）。该结构由一个卷积，一个主囊层和一个分类层组成，最终精度达到86.56%。

此外，基于两种类型的输入分别训练单独的网络：原始脑图像和分割的肿瘤区域，这意味着CapsNet在用肿瘤勾画结果进行训练时表现更好。原因可能是因为脑图像背景较为复杂，因此分散网络可以更好的提取重要的区别特征。CapsNet对于两种输入类型的准确率都高于CNN, CNN对于肿瘤图像的准确率为78%。几个因素可能使CapsNet分类性能更好，包括它处理小数据集的能力，以及对转换和旋转的鲁棒性方面。

（3）RNNs

大多数深度网络架构需要固定大小的输入，这使得它们对于体积图像的放射组学分析（即体积级分类）无效，例如，当必须一次处理整个体积时（例如基于3D体积的肿瘤分类）。在这些情况下，可以采用RNN，因为它们能够处理诸如CT或MR切片的连续数据，并且它们将当前图像切片以及处理先前图像切片的结果作为输入。同时，RNN也可用于监测随访检查获得的医学图像（即患者级分类）。

由于RNN与梯度消失问题有关，因此提出了一种称为长短期记忆（LSTM）的模型，它能够决定存储什么和忘记什么。尽管RNN和LSTM在计算上似乎比其他体系结构要求更高，但通过在整个网络上使用相同的权重，它们的训练时间和成本大大降低。基于超声图像序列，文献[61]使用LSTMs用于的前列腺癌的良恶性分类，其中使用序列进行分类的预测准确性高于基于单个图像的预测准确性。

4.4.2 生成式模型

大多数深度生成模型的目标是从数据分布中学习抽象但丰富的特征，以从相同的分布中生成新的样本。这些生成模型在放射组学中实用的原因是，模型所学习的特征可能最能描述实际数据集，因此有可能作为放射组学特征并有助于诸如肿瘤分类的后续任务。自动编码器网络、深度信念网络和深度玻尔兹曼机器(DBMs)是放射组学中使用的深度生成模型。

（1）自动编码器网络

其中

是网络的激活函数，w表示编码器和解码器使用的网络的权重矩阵，b表示编码器偏置矢量，c表示解码器偏置矢量，上标T表示转置算子。编码变量可以被当做放射组学特征的原因是它们是可用于再现它的输入图像的最重要的代表。虽然一个自动编码器可以完全地进行端到端的训练，但是为了从良好的初始权值开始训练，从而避免梯度消失的问题，我们可以先逐层训练，然后以得到的权值作为自编码器的起始点。根据应用条件的不同，自动编码器有几个不同的扩展。

2）去噪自动编码器

为了使自动编码器能够捕捉到更健壮的特征，可以在输入特征中添加一些噪声，这种自动编码器被称为去噪自动编码器（DAE）。在文献[57]中，DAE被用于提取放射组学特征，然后将这些特征用于支持向量机进行肺部肿瘤的良恶性鉴别。文献[10]还采用了一种五层去噪的自动编码器，它以损坏的肺部图像为输入，目的是恢复原始图像。此外，由该网络编码器提取的400个特征被做为放射组学特征来训练另一个肺癌分类（识别肿瘤的类型，例如，良性或恶性）模型。

3）卷积自动编码器

由于考虑了空间相关性，卷积自动编码器对放射组学(图像型输入)特别有用。在这些网络中，相邻节点共享相同的权重。在文献[11]中采用了具有五个卷积层的卷积自动编码器用于肺癌诊断(即，识别癌症的存在)。

放射组学中有两种利用自动编码器的常用策略。第一种也是最常见的方法是直接使用提取的特征来训练分类器。例如，文献[64]使用五层自动编码器提取了放射组学特征，该编码器使用分割的感兴趣区域作为输入。这些特征随即作为决策树的输入以实现分类目的，这种情况下，输出即为不同分类的肺结节。自动编码器还可以用于影像预处理，使网络在执行实际分类任务之前提取代表性放射组学特征。例如，文献[60]首先基于调整大小的(向下采样图像以便于训练)肺部CT影像来训练DAE。接着，在网络中加入一个分类层，以调整后的图像作为输入，对整个网络重新训练。

（2）深度信念网络

深度训练网络（DBN）是相互堆叠的受限玻尔兹曼机器（RBM），其中RBM是一个无监督的两层随机神经网络，可以以最小化重建误差为目标对概率依赖性进行建模。更重要的是，RBM是一个二分图，允许值在两个方向上传播。虽然DBNs由RBMs组成，但只有最上面的两层是无向关系。DBN首先以贪婪的方式进行训练，这意味着RBM子网被单独训练，然后再进行轻微调动。在文献[10]中，设计了一个由四个隐藏层组成的DBN，其目标是从1600个节点的顶层提取DLR。最后一层与外部神经网络相连，用于对肺结节进行分类。此外，为了获得多通道输入(即原始图像、分割的肿瘤和梯度图像)，这些通道在被输送到网络之前按矢量方式进行连接。

（3）深玻尔兹曼机器(DBMs)

DBM同DBN一样，也是由RBM组成，但与DBN的不同之处在于，尽管它们是以逐层方式训练的，但DBMs包括了所有层之间的无向关系，以至于DBMs在计算上无效。然而，由于双向关系，RBM可以从数据中捕获复杂的模式。DBM在[34]中被用于阿尔茨海默病的诊断。在这项工作中，再DBM的最后一层添加了分类层，如此，它不仅可以提取分层（生成）特征，还可以提取判别特征。

以上，本文就完成了放射组学工作流程中使用的不同深度判别模型和生成模型的概述。接下来，我们考虑这种体系结构的关键缺点，即充当黑匣子。

4.5 DLR的可解释性

深层网络的可解释性旨在揭示是什么原因使得模型做出相应的决定，了解网络中的具体信息不仅可以帮助模型改进，还可以检测模型的故障点。无论DLR的功能多么强大，但如果其结果与实际临床关系无法被专家解读，医生依然不会使用这些技术。此外，医疗决策中不允许出现任何错误，因为它可能导致不可挽回的损失或伤害，因此，了解深层网络结果背后的逻辑是预防此类灾难的关键。本节将概述最近开发的提高深度放射组学可解释性的技术。

通过与专家反复核对结果,可确保自动算法的预测准确性。例如，文献[45]基于CT图像利用CNN进行寿命预测，并与专家一起审查了模型输出结果，最终得出如下结论:预测寿命更长的人确实更健康。然而，这种方法耗时且需要完全的监督和调查，这与自动化和个性化治疗的概念(即放射组学的全部内容)相冲突。因此，为减少解释深度放射组学的时间和复杂性，提出了几种方法。（1）特征可视化，它试图通过可视化网络正在寻找的特征来获得网络行为的知识。此技术可应用于模型的不同层。例如，为了可视化第一层特征，该方法将相关的过滤器应用于输入，并显示生成的特征热图。然而，网络的最后一层是预测结果输出层，因此关注在这一层中学习到的特性会更有用。例如，文献[10]将一个DBN的最终权重进行了可视化，展示了该网络寻找的有意义的特征（例如“曲线性”）。然而，这些特征对于简单的图像识别任务来说并没有那么有意义，因为临床医生自己有时不确定图像的独特属性。

向用户解释深层架构所做决定的另一种方法称为“灵敏度分析”，它指的是生成一个热图，并突出显示负责输出的图像区域。在热图中，较亮的区域会影响预测结果，这可以通过确定和测量每个输入像素对输出的影响来实现。在CNN中，这种效应可以通过反向传播确定与每个输入像素相关联的权重来估计。这种方法可以发现预测的原因。然而，这种方法的缺点在于，并不是通过热图检测到的所有像素都必然是导致特定判定的像素，此外，随着网络的深度和复杂性增加，我们更加难以测量每个单独像素对输出的贡献。

用于理解模型学习到的特征的第三种方法是将深层网络的高维特征空间映射到二维平面。文献[59]即采用这种方法。该研究利用t分布的随机邻域嵌入算法将CNN学习到的特征进行可视化，实现肺部肿瘤分类目的。生成的平面图呈现出定义明确的肺部肿瘤簇，这表明网络已成功学习到判别特征。然而，尽管这种方法可以验证网络的准确性，但并不能提供做出决定的确切原因。

在新提出的CapsNets中，通过基于网络学习到的特征重构输入图像，提高了无意义权重的可解释性。CapsNet包括一组完全连接的图层，这些图层将最终计算出的特征(在此基础上进行最终分类)作为输入，并以最小化原始图像与重建图像之间的差异为目标，再现原始图像。该目标函数以较小的权重加入到分类器的损失函数中，以避免分散网络对判别特征提取的干扰。如果经过训练的CapsNet不仅分类精度高，而且能够与输入图像相似，那么它就能成功地提取出具有代表性的影像特征。此外，可视化这些特性可以深入了解模型的可解释性。有趣的是，CapsNet通过其输入重建部分配备了强大的特征可视化技术，其功能如下：

1）如果CapsNet处于训练阶段，则选择与真实类标签相关的特征向量；否则，使用概率较高的向量。

2）调整选定的特征向量，即在特征值中添加或减去少量数字，导致新的特征向量略有变化。

3）将新的特征向量输入重建部分，实现输入图像再现。然而，该重建图像不应与输入图像完全相似，因为它是使用调整后的特征生成的，而不是使用网络学习的实际特征生成。

4）重复调整和重建过程，通过观察改变特征对生成的图像的影响来了解所学习的特征。

这种策略被用来解释分类脑瘤的CapsNet的输出，研究显示该网络可能基于诸如大小和形状等特征进行脑瘤种类判断。图8显示了基于调整后的特征向量重建的脑肿瘤图像，这些特征向量有助于洞察特征的本质。

图8 调整最终特征向量对重建脑肿瘤图像的影响。每一行对应一个单独的特征，上图是11次调整结果。

以上，我们就完成了DLR的讨论。下一步，我们考虑混合解决方案，其中HCR和DLR技术将被联合使用。

5 放射组学的混合解决方案

为了总结我们对HCR和DLR特征的研究结果，表5从不同方向提供了这两个类别之间的不同比较。图9显示了基于HCR或DLR技术的四种不同的放射组学应用的出版物数量。如图所示，虽然与HCR方法相比，深度学习技术是更为新颖的方法，但这两种技术在肿瘤分类和检测方面是不相上下的。然而，在生存和复发预测方面，深度学习方法较HCR的研究数量相对较少，这可能是因为在DLR中无法获得的领域知识在生存和复发预测中更为重要。这就需要利用深度学习的优势（不需要图像分割、特征选择和人工干预）和HCR方法中可用的领域知识的技术。此外，在上述两类都不能提供具有高预测能力的信息性放射组学特征的情况下，可以采用混合策略。这里，从不同的角度回顾了放射组学技术的潜在混合解决方案，包括将放射组学技术与其他数据源相结合，以及HCR和DLR特性的组合。

图9 根据Google Scholar的数据，HCR和DLR在四种不同应用中的受欢迎程度。

5.1放射组学和其他数据源的结合

通常，医生不依赖单一输入来诊断疾病和病症。为了得出结论性决定，需要比较或组合来自不同来源的数据，包括放射组学、血液生物标志物、临床信息、病理学信息和基因组学信息。在“放射组学支持资源”中，我们概述了多种不同模态的放射组学影像和数据源，它们通常与某些放射学特征相结合。在本节中，我们将讨论两种不同的方法来融合/结合基因组学和其他可用的信息资源，以及这些组合背后的基本原理和未来的应用潜力。

5.1.1 从不同的成像模式中提取放射组学特征

如前所述，可以从不同的成像模态中提取特定的放射组学特征，每种成像模态都可以捕获关于组织特性的特定信息。例如，虽然CT扫描是能够观察身体内部器官的最常见和信息丰富的成像模式之一，但CT无法提供有关身体功能和新陈代谢的信息，但这类信息可通过PET扫描图像获得。因此，我们需要研究从不同模态中提取出放射组学特征的组合效果。例如，在文献[4]中，分别从CT和PET图像中提取放射组学特征，并且将级联特征向量输入到用于肺癌存活预测的分类器中。与单模态信息所建立的分类器进行比较时，多模态分类器表现出更高的准确度。

这种方法在文献[43]中也应用与了脑肿瘤分类。由于磁共振成像系统可以输出不同的图像，这些图像在对比度和松弛度参数方面变化很大，因此可以对这些图像进行融合以提供补充信息。根据[43]研究结果显示，从不同MRI序列组合中提取的放射组学特征用于脑肿瘤分类的效果，优于单一模态放射组学特征。

5.1.2 集成放射组学特征与其他数据源

只有在提取过程之后，放射组学特征才能与其他信息组合。放射组学领域最好的描述性或预测性模型，不仅利用成像生物标志物，还利用基因组学和肿瘤组织学等其他信息。文献[5]将放射组学特征与肿瘤位置和肺癌分期信息相结合，发现较于单独的放射组学模型和单独的临床信息模型，其可以改善肿瘤预后预测能力。换句话说，放射组学可以为肺癌预后提供补充信息。西外，将放射组学与头颈癌中的其他预后标志物相结合后，预测结果更具适用性。文献[49]进一步结合了放射组学与临床数据信息，实现了脑癌的生存预测。这项研究基于放射组学和临床风险因素（如年龄）进行了逻辑回归分析，并以列线图形式进行展示，可用于直观、计算脑癌的生存概率。在文献[40]和[63]中均进一步基于列线图展示形式，研究了乙型肝炎病毒和淋巴结转移预测模型。

要想获得列线图，首先需要根据所选的放射组学特征进行逻辑回归建模，然后计算放射组学得分并进一步应用于所需的预测任务。因此，通过训练多变量逻辑回归模型，可将放射组学得分与其他影响因素融合以进行最终预测。图10显示了文献[63]中介绍的列线图，以及说明如何进行淋巴结转移预测。

图10基于放射组学特征的列线图，用于预测淋巴结转移。肿瘤位置被认为是“额外信息”，有助于做出更可靠的预测。

[65] 提出了一种基于放射组学和基因组学生物标志物的融合方法，用于预测肺癌的复发风险。在这项研究中，从分段肺部CT图像中提取了35个放射组学特征，并通过特征降维方法，最终确定8个特征来训练朴素贝叶斯模型。此外，研究还使用两个基因组学生物标记训练相同的分类器，并且通过简单的平均策略融合两个分类器的输出。结果表明，与单个分类器相比，组合分类器不仅具有更高的预测精度，而且更接近Kaplan-Meier生存图。

5.2 HCR与DLR的融合（工程特性与深层特征相结合）

如表5所述，HCR和DLR都有其自身的优势和劣势。因此，组合这两个领域中的特定功能并结合可能会显著提高放射组学模型性能。如图11所示，以下两类数据融合技术最近被用于放射组学研究中。

图11 通过特征级或决策级将DLR与HCR融合

5.2.1 决策级融合

将HCR与DLR相结合的一种常见方法是，首先分别使用它们来训练独立的分类器，然后在输出时采用一种表决方式来做出最终决定。放射组学中的几种表决或融合方法如下:

■软投票:软投票结合了如简单平均方法的概率输出。文献[42]中就采用了软投票方法，即对两个单独的SVM进行HCR和DLR(使用经过预处理的CNN提取)的模型训练，从而基于平均输出概率进行乳腺癌预测。该文表明，通过组合模型，可以提高乳腺癌预测精度。文献[52]还对基于DLR和HCR的软投票方法，融合了独立训练的分类器并进行相关研究，结果表明组合SVM模型在乳腺X线、超声和MRIs的准确率方面优于单个分类器。

■硬投票:通过硬投票方法得到预测结果，如多数表决法。

■自适应投票:使用神经网络模型学习每个模型(HCR和DLR)的重要性权重。[53]对肺癌分类采用了另一种不同的投票方式。这种投票方法认为，并非所有的分类器对最终预测结果的重要性都是一样的，其重要性权重应该是一组通过学习过程来优化确定的参数。该文首先训练了一个CNN和几个传统的分类器模型，如SVMs和logistic回归，来独立预测肺癌类型（良性或恶性）。然后使用预测结果训练了一个二级分类器，并以二级分类器为准输出最终预测结果。支持向量机和神经网络等任何分类器都可以作为二级分类器。

5.2.2 特征级融合

用于组合DLR和HCR的第二种广泛使用的方法是特征级融合，即首先将HCR和DLR所提取的放射组学特征进行平级组合，然后输入特征降维算法并进行后续分析。在[46]中，这种组合使得RF和NB分类器进行肺癌生存预测达到最高表现性能。[47]也将这种方法用于肺肿瘤检测。尽管混合DLR和HCR具有若干优点（例如确保特征的异质性），但它可能会导致模型的过拟合问题，因为训练数据的数量相对少于特征的数量。因此，[49]从稳定性、信息性和冗余性等方面对这一大组特征进行了降维分析，继而提高了脑癌生存预测的准确性。为了进一步减少特征数量，采用Cox回归确定不同特征对生存的影响权重，然后将权重较小的特征排除。

[54]通过一个多任务学习框架，将肺部肿瘤属性（如针状突起、球状体和恶性肿瘤）的DLR和HCR特征进行融合。为了提取DLR特征，该研究基于九个不同任务，分别训练了九个CNN模型和三层DAE模型，在SoftMax层和DAE产生100个特征之前，每个CNN从最后一个全连接层均提取了192个放射组学特征。DLR特征进一步与由Haar和定向梯度特征直方图组成的HCR特征相结合，并将得到的向量输入多任务线性回归模型中，该模型可以考虑任务间的关系，从而计算出9个肺癌属性的得分。

6 挑战、问题和机遇

6.1 HCR的挑战

相较于多媒体领域，在放射组学中提取HCR特征存在更大的阻碍，因为对ROI进行分割时，往往存在视觉差异不明显现象。为解决这一问题，放射组学在不考虑系统机制和研究目标前，先提取出成百上千个不同低水平和高水平特征。然后，使用特征降维技术来解决维数灾难问题。放射组学中HCR的另一个主要问题是，它们提取时没有使用可以从其他数据来源获得的信息，这进一步限制了它们对癌症预测的辨别能力。

更重要的是，大多数HCR研究都需要进行感兴趣区域分割。这个任务在其他领域可能不是一个大问题，但涉及到放射组学领域时，只有专家有能力提供分割信息，而这将消耗大量的时间成本。

6.2 DLR的挑战

尽管深度放射组学有自己独特的优势(包括其泛化能力和无监督学习)，但也存在相应缺点，例如深度学习通常需要大量数据集，且对某些应用转换缺乏鲁棒性。同时，DLR面临的另一个重要挑战是，它仍然没有最佳体系结构选择的方法。

确定一个适合于放射组学的深层体系结构的要求是DLR的一个主要挑战，也是未来工作的另一个方向。其中，敏感性分析对于解释设计框架的选择与输出结果之间的联系至关重要，而确定不同条件下获得不同结果也至关重要。简而言之，使用特定体系结构时会发生什么？例如，考虑一下如何选择输入图像大小的简单问题。这里的问题是，应该提供原始图像还是缩小的图像，为什么要那样选择？一个简单的答案可能是，缩小的图像可以节省计算资源。另一个直观的答案可能是，下采样可以使数据在平移和旋转时保持不变，即当对图像进行下采样处理时，我们可以取其平均值。如此，模型可能不会出现异常值。后一种想法对于自然图像来说可能更为合理，但对于从医学图像中获得的放射组学特征来说，情况是否如此？

直观地说，开发DLR的一个基本挑战和问题是，为自然图像开发的模型和解决方案在应用于医学图像之前应进行相应修改，因为医学图像和自然图像的性质完全不同。由于输入信息的性质不同，部分模型不可照搬沿用。然而，这个问题尚未得到系统和彻底的调查。

考虑到HCR通常需要较少的数据，有效训练深层结构(如中枢神经系统)所需的图像数量取决于底层模型的复杂性。当可训练参数的数量增加时，所需训练数据的量也得增加。例如，在肺癌诊断中，研究广泛使用了LIDC-IDRI数据集，它包含1010名患者的244527张CT图像。通常情况下，使用普通处理器无法进行基于此类数据集的复杂深度模型训练，而需要借助一个或多个图形处理单元。在深度学习方法中，降低计算成本的一种常见方法是减小输入图像，使其仅包含感兴趣区域。虽然这种方法在非医学领域不会造成任何信息损失，但它对医学图像的分类是有害的，因为大小是正常和异常组织的重要鉴别特征。在文献[12]中研究了这个问题，研究显示：基于从DBN提取的特征进行肺肿瘤分类时，其错误分类的概率比正常分类高4%，原因可能是因为裁剪的图像丢失了图像大小信息。

相反，虽然训练数据收集有限也是其他多媒体领域的常见问题，但在放射组学中，这一问题变得更加关键。因为对收集患者的相关数据需要遵守多项伦理规定，因此很难收集理想情况下所需数量的数据用于模型训练。最后，深度放射组学的可解释性至关重要，如果不能提供合理的解释，深层放射组学在临床实践中的应用将仍然受限。

6.3 问题和SP机遇

尽管最近放射组学领域在临床应用方面取得了进展，但仍有几个问题需要进行广泛的研究：
1）大多数放射组学模型需要大量的训练图像，然而，由于隐私政策，医学图像通常很难收集。

2）除了隐私问题外，很难找到具有相似临床特征的所需数据量。

3）放射组学分析需要真实标签，但这些标签只能由临床专家提供。由此，需要开发弱监督或半监督的训练模型。

4）医疗图像的属性（例如对比度和分辨率）因机构而异(因数据集而异)。因为每个机构可能使用不同类型的扫描仪和/或使用不同的技术扫描参数。开发新的信息融合方法以及构建统一标准化方案对于这一问题至关重要。此外，由不同专家提供的真实标签也可能不同，因为这取决于专家的专业领域(例如，肿瘤学和外科学)，可能会考虑不同细节和边界。

5）不平衡数据指的是分类问题中类别失衡问题，使得分类器偏向于预测大多数类。通常情况下，放射组学分析就是这种情况，因为阳性类别（即疾病的存在）的数量通常小于阴性类别的数量。因此，在处理医疗数据时需要小心这个问题。虽然针对上述问题都提出了一些解决办法，如修改度量函数以赋予少数类数据更大的权重，但这仍然是一个有待研究的问题。

6）处理图像噪声是另一个具有挑战性的问题，这个问题在所有领域都很常见，但在放射组学中研究中更为严重，因为医学成像中可能存在更多不可预测的变化源。例如，患者在CT扫描时的呼吸可能会导致连续切片中肺部肿瘤位置的改变，从而导致难以提取稳定的放射组学特征。因此，为了实现可靠的个性化诊断和治疗，应该制定完善的研究方案来应对这些变化的影响。

此外，还有一些因素限制了医学图像的分辨率，例如成像环境、扫描仪能力以及放射性图像的其他缺点(例如，采集期间的辐射、噪声采集)。例如，捕获频率的范围受到扫描仪的最大采样率的限制，并且增加速率将以增加噪声为代价来提高分辨率。由于获得高质量图像对于实现早期诊断和准确诊断是非常必要的，因此开发先进的计算模型以提高医学图像的质量成为必要。其中一种计算技术被称为超分辨率，其目的是使用多个低分辨率图像来重建高分辨率图像。深度学习网（尤其是CNNs）被广泛应用于超分辨问题，并取得了良好的效果。

结合各种数据源（例如成像和临床）的最大挑战是并非所有患者都能提供所有数据。为了解决这个问题，放射组学分析模型应该配备稀疏数据。此外，目前用于放射组学的融合策略仍处于起步阶段，有必要开发更严格的融合方案。例如，特征级融合可得到一个向量，如何对局部化的特征向量进行排序/组合是一个开放性挑战。鉴于从混合放射组学模型获得的初步有效结果，这个问题需要多个模型组合进行解决。

7 总结

近几十年来，医学成像取得了重大进展，使得人眼无法看到的信息自动提取技术随之发展。今天，从医学图像中提取定量或半定量特征，称为放射组学。其可以为临床护理提供帮助，尤其是应用于癌症诊断/预后研究方面。目前有几种常用的放射组学方法，包括HCR，DLR和HCR及DLR的融合方案。本文通过介绍实际应用示例，展示了一个关于放射组学的完整示意图：放射组学的基本处理模块和放射组学分析流程中使用的支持资源(例如，图像、临床和基因组数据源)，希望有助于在信号处理中进一步研究和推进该领域的发展。

IEEE Signal Processing Magazine：从手工放射组学特征到深度学习分割的放射组学特征