病理图片深度学习让你体验15分+新高度
Predicting survival after hepatocellular carcinoma resection using deep-learning on histological slides使用组织切片深度学习模型预测肝细胞癌切除术后病人生存率
一、背景介绍
肝细胞癌（HCC）是主要的癌症之一，术后复发率达70-80%，判断出预后较差的病人对治疗方法的提升有重要帮助。病理图像与病人预后密切相关，随着计算机处理全数字化组织图像（WSIs）技术的发展，病理分析效率上升，可提取出隐藏的生物信息，病人预后预测方法得到改善。
二、分析流程
三、结果解读
1.使用测试集建立模型
1A展示了作者的研究流程，训练集由2004年-2016年在Henri Mondor医院接受手术治疗的病人构成，每个病例有1-2个数字化HE染色切片，病理医生标记其中的肿瘤区域与非肿瘤区域，从病历中获取病人的临床，生物与病理特征。作者针对数据制定了如下纳入标准：
1）病人接受手术治疗且之前无其他抗肿瘤治疗
2）有后期随访数据
3）明确诊断为HCC
4）福尔马林固定石蜡包埋的组织切片
5）手术时无肝外转移
最终作者在训练集纳入了194个病人，其中有56例病人在随访过程死亡。然后作者采用 "CHOWDER"与"SCHMOWDER"两种算法建立卷积神经网络预测病人预后。"CHOWDER"神经网络可以自动鉴别生存相关区域，通过预处理，tile评分，预后预测三步计算出风险分数，帮助病理医生筛选出最具预测性的tiles。2A展示了模型的预处理过程，WSI首先被分为112 x 112 μm的小块，称为“tile”,然后通过预训练的卷积神经网络提取tile相关特征。2B展示了"CHOWDER"的训练过程，tile与生存数据一起输入网络，通过迭代学习获得风险分数，然后选出其中评分最高和最低的tiles用于病人生存预测。
"SCHMOWDER"是一种包含监督注意力机制（上分支）和无监督学习（下分支）两部分的双分支网络，预处理过程和 "CHOWDER"网络相同，2C展示了两个分支的训练过程，上分支通过病理医生提供的标签进行监督学习，鉴定肿瘤与非肿瘤部分，通过标记每个模块的风险得分，并使用注意力机制处理得分，上分支筛选出了可能是肿瘤区域的tiles。下分支与"CHOWDER"相似，筛选出了最具预测性的tiles。最后结合上下分支结果，输出生存风险得分。病理标签只在训练模型时需要，模型训练完成之后，"SCHMOWDER"同样可应用于无病理标签的图像。
图1.研究流程图
图2.CHOWDER与 SCHMOWDER模型示意图
作者通过交叉验证，使用c-indexes评估模型的OS预测分组能力，3A展示了两个模型与其他HCC相关变量的c-indexes，两模型c-indexes分别为0.75和0.78，证明模型的分组效果较好，同时模型的平均c-indexes高于其他变量。然后作者综合相关临床，生物，病理特征生成了一个综合分数（CS），结果显示两模型的c-indexes高于CS，证明两模型的分组效果优于CS，且 SCHMOWDER优于CHOWDER，p=5.0E-7。作者尝试将CS与两个模型结合，结果显示c-indexes保持不变，表明获得的临床，生物，病理特征没有为模型提供额外的生存信息。
作者使用SCHMOWDER和CHOWDER得出的风险得分将病人分为两个亚组，每个模型的风险得分中位数是区分高低风险组的阈值，3B展示了使用CHOWDER与SCHMOWDER模型，CS以及其他基础特征进行生存预测的风险率和95%可信区间，***表示 p< 0.001, * *表示p < 0.01, *表示 p < 0.05, +表示 p < 0.1, -表示 p > 0.1，结果显示两个模型的预测准确度要高于CS以及其他基础特征。
图3.SCHOWDER和CHOWDER模型生存预测评估
作者使用Python的 lifelines package进行单因素与多因素CoxPH生存分析，用 Log-rank检验对比两组生存情况。图4展示了SCHMOWDER风险分组的预后价值，结果证明SCHMOWDER计算出的风险分数有独立的预后价值，而且在使用疾病分期，血清AFP水平等其他特征进行分组后，结果仍有意义，说明SCHMOWDER模型考虑了其他HCC生存相关基础变量的影响。
图4.SCHMOWDER风险评分的预后价值
2.使用TCGA数据验证模型
作者使用TCGA作为验证集，从网上获取相关临床，生物和病理特征，最终共有328个病人符合纳入标准，其中有115例病人死亡，OS显著低于训练集。作者从328个病例中获得了342个WSIs,然后使用两个神经网络模型进行处理。5A展示了使用测试集训练的SCHOWDER和CHOWDER模型以及HCC相关临床，生物，病理变量与CS在TCGA验证集的生存预测c-indexes。CHOWDER的c-indexes为0.68，SCHMOWDER为0.70，CS为0.63，随机预测分别增加36%，40%，26%。5B展示了使用CHOWDER与SCHMOWDER模型，CS以及其他基础特征进行生存预测的风险率和95%可信区间。使用训练集确定的阈值将病人分为高低风险组，分组效果优于使用CS以及其他变量（CS：HR=2.6, p=3.2E-7， CHOWDER：HR=4.3, p=2.5E-12，SCHMOWDER：HR=3.4, p=5.3E-11）。图6为SCHMOWDER风险评分在测试集的预后价值，使用训练集SCHMOWDER风险评分中位数做阈值划分高低风险组，结果表明使用其他预后特征进行分组后，SCHMOWDER风险评分仍有预后价值。
图5.SCHOWDER和CHOWDER模型在验证集的生存预测评估
图6.SCHMOWDER风险评分在验证集的预后价值
3.对tiles进行分析
CHOWDER是一种可解释性模型，病理图像评估可能与病人生存关系最密切，因此这种方法可以提供肿瘤侵袭性相关特征的信息。作者使用CHOWDER从245个WSIs中提取出了400个最有预测价值的tiles,高风险200个，低风险200个，病理医生进行了检验，然后作者研究了其中生存相关的主要组织学特征。7A展示了与肿瘤区域和非肿瘤区域相关的组织特征。肿瘤区域共有19项组织特征，与高风险相关的为血管间隙，骨小梁结构模式的出现，高度细胞异性性与核增生。在肿瘤和非肿瘤区域，纤维化和免疫细胞都与低风险相关。综合说明此模型可以检测出已知的或未知的生存相关组织特点。
为了进一步研究这些tiles的组织学共性，作者使用了UMAP算法，并且随机选择了500个包含全部预测风险因素的tiles纳入高低风险组，然后进行聚类分析。7B展示了测试集和验证集的tiles分布和聚类结果，图像显示tiles倾向依据风险分组进行聚类，于是作者使用 K-means算法对训练集数据进行聚类分析，共分为8类，其中3个聚类（0,1,3）与风险分组相关，聚类2主要是由于染色或褶皱等人为因素导致，其余四个聚类无明显分布规律，所以归为一类。在测试集TCGA数据中使用同样的方法。训练集中聚类1大多为高风险tiles,组织特征主要为出现血管间隙；聚类0大多为低风险tiles，纤维化和免疫细胞增多；聚类3主要为低风险，细胞有脂肪变性；聚类4同时出现了高风险和低风险tiles，纤维化和免疫细胞增多。验证集中，结果大多一致，但其中聚类3几乎消失，聚类4高风险tiles增多，细胞异型性和核增生增多。
图7.使用CHOWDER划分高低风险组的例子
小结
作者使用病理切片建立了两个可用于预测HCC手术切除病人预后的深度学习模型，预测准确度高于其他使用临床，生物，病理特征进行的预测，这为癌症亚型诊断规范化和精准医学发展提供帮助。但两个模型在验证集中的预测效果均低于训练集，可能是由TCGA数据集中病人的OS较低造成，同时不排除模型过拟合以及训练集一些特有特征如染色技术，切片格式影响模型的情况。