【综述】人工智能在骨关节炎影像诊断中的研究现状与进展
文章来源：中华放射学杂志2019,53(9):790-793
作者：钟京谕 姚伟武
影像检查是骨关节炎（osteoarthritis，OA）诊断的重要手段，但受制于巨量的影像数据、人眼有限的辨识能力以及医师的主观性，为患者提供精准乃定量的诊断评估结果有很大的挑战，对于患者风险及预后的预测有一定的局限性。人工智能（artificial intelligence，AI）具有提高影像数据处理效率，实现自动化和标准化OA分析，为患者提供精准医疗服务的潜力。本文通过概述AI在OA影像诊断的研究现状，展示其在骨关节图像自动分割以及OA诊断、严重程度评估、风险及预后预测等领域的临床应用潜能，指出当前这一领域的局限性。
骨关节炎（osteoarthritis，OA）以关节软骨退变为主要特征，但早期变化表现在分子水平，中晚期才会出现宏观结构改变，如软骨退变、骨赘形成、软骨下骨改变等，损害关节正常功能，并可伴有关节疼痛等症状[1]。影像检查是确定OA改变的重要工具，其中以X线和MRI最为常用，可用于OA的诊断；近来CT也被用于OA的影像研究[2]。
影像研究容易受到图像复杂、数量庞大以及医师主观性的影响，而人工智能（artificial intelligence，AI）可提高影像数据处理效率，实现自动化和标准化，可用于OA分析，具有为患者提供精准医疗服务的潜力[3]。以下将根据AI在OA影像分析的研究现状，展示其在骨关节图像自动分割以及OA的诊断、严重程度评估、患病风险和疾病预后预测等领域的临床应用潜能。
一、医学影像AI
医学影像是AI在医学领域的主要应用方向之一[4]。机器学习是人工智能的下属概念，传统的机器学习算法主要包括神经网络、k最近邻、支持向量机、朴素贝叶斯和随机森林等。这些算法均依赖于人工给出的浅层特征[5]。最近兴起的深度学习则无需人工指定特征，机器能够自己学习，提供解决方案，为图像、视频、语音等数据的处理带来了突破[6,7,8]。大多数深度学习算法都基于人工神经网络（artificial neural network，ANN），ANN是受神经元的生物学过程启发而设计出的模型，通常由多层组成，包括输入层、输出层及中间的隐藏层[7]。
卷积神经网络（convolutional neural networks，CNN）是ANN的子类，明确其输入内容为图像。典型的CNN结构由多层组成，使其能够学习图像的深层特征[8]。CNN由卷积层、池化层、非线性层和全连接层组成。卷积层是构成CNN的核心模块，由一组可学习的过滤器组成，通常在连续的卷积层之间周期性地插入池化层，以最小化网络中的参数和计算量，避免过度拟合，两者配合具有提取输入图像特征的功能。非线性层使用特定的非线性激活函数实现选择的功能，仅允许部分特征能够被输出。全连接层与前一层的所有激活函数完全连接，充当分类器。CNN在图像处理上表现格外出色，有近似医师的性能，在医学影像处理中应用最广[6,8]。
二、OA影像公共数据库
高质量、已标记的数据是机器学习的基础，通常的做法是将可用的数据划分为3个子集，即训练集、验证集和测试集，分别用于训练和优化神经网络的参数，监控模型的性能和最终评估、报告模型的性能[5]。在此过程中需要大量的数据，公共数据库为研究人员开发、测试和评价研究结果提供了共同的平台。目前OA影像领域的公共数据库仍较为有限，最常用的是骨关节炎创始（osteoarthritis initiative，OAI）以及多中心骨关节炎研究（multicenter osteoarthritis study，MOST）数据库[9,10]。
OAI研究[9]共招募4 796例患者，年龄45~79岁，其中女性占58.0%。数据库记录了参与者膝关节OA的生物化学、遗传和影像数据，主要为X线和MRI图像以及相应的半定量评分和定量测量结果，为研究膝OA发生发展的危险因素和自然史提供了资料。
MOST研究[10]在社区人群中招募了3 026例年龄在50~79岁之间患有OA或有较高OA风险者，其中女性占60.0%。数据库记录了参与者膝关节OA的危险因素、疾病特点、临床结局以及影像数据，主要为随访的X线和MR图像以及相应的半定量评分和定量测量结果，为研究生物力学、骨关节结构和营养因素在膝OA的放射学和症状中的作用提供了资料。
同时，队列髋和膝（cohort hip & cohort knee，CHECK）[11]、膝关节影像分割2010（segmentation of knee images 2010，SKI10）[12]以及肌肉骨骼放射影像（musculoskeletal radiographs，MURA）数据库[13]也常被用于OA及肌肉骨骼系统影像研究中。
三、膝关节MR图像自动分割
X线和MRI是诊断和评估OA主要的影像方法，MRI能够提供更丰富的信息。为了从MR图像中提取OA的特征，有必要分割软骨与骨。自动软骨分割方法包括基于模型、基于图集、基于图与图割的算法等。同时，机器学习也被用于解决图像分割问题，已提出了利用k最近邻算法完成软骨的自动分割及使用支持向量机算法同时使用多个MRI序列来解决分割问题的方法[14]。
Prasoon等[15]较早使用深度学习来解决膝关节骨与软骨的分割问题。其研究集成3个正交二维CNN提出了一种多平面软骨分割方法，在114个膝关节MR图像中的测试显示，评价其胫骨软骨分割准确性的Dice相似性系数（dice similarity coefficient，DSC）可达0.8249。司莉萍等[16]使用SKI10数据库训练Ⅴ型网络和Inception网络2种深度神经网络，在临床患者膝关节MR图像中的测试结果显示，骨骼分割的DSC高于0.90，软骨分割的DSC也超过0.70，实现了高于手工标注的性能。Liu等[17]及Ambellan等[18]则整合了CNN与其他机器学习算法，进一步提高了膝关节骨与软骨分割的效率和准确性，以较低的计算成本实现了高精度、可重复的分割。
除了骨与软骨之外，还有学者关注到了膝关节其他结构的自动分割。Tack等[19]组合了二维及三维CNN与三维统计形状模型，实现了对膝关节半月板的分割，内、外侧半月板分割的DSC分别达到0.838和0.889。Norman等[20]使用二维U型CNN实现了对膝关节软骨及半月板的自动分割，软骨分割的DSC在0.770~0.878，内、外侧半月板分割的DSC分别为0.753和0.809，软骨体积和厚度的分割精度与手动分割相当。Zhou等[21]结合了深度CNN以及其他机器学习算法使骨骼、肌肉和其他非特定组织分割的DSC高于0.9，软骨、半月板、股四头肌和髌腱等结构分割的DSC为0.8~0.9。
目前的膝关节MR图像自动分割主要基于CNN[15,17,18,19,20,21]，并常通过与其他机器学习算法结合以实现在足够短的时间内提供准确的分割结果[19,20,21]，便于在OA研究中常规使用。致力于膝关节所有组织自动分割的研究也已开展，为后续研究提供了技术支持。进一步的研究则把关注点放在了这些分割方法在其他解剖部位应用的可行性。
四、基于AI的OA辅助诊断评估
X线是OA诊断中最常用的影像方法，通常使用凯尔格伦-劳伦斯（Kellgren-Lawrence，K-L）分级系统评估；而依据MRI的半定量评分体系能更好地发现、评估OA发生发展的过程，评价疗效[22]。然而，由于人眼易于疲劳，当图像数量过大时，往往遗漏部分信息，同时人工评分带有主观性。因此，基于X线和MRI的OA辅助诊断评估系统应运而生。基于X线的OA自动诊断系统的研究中，最早的数据量仅有数百例，但研究部位涉及手、脊柱、膝等多个部位。而随着OA影像数据库的建立，研究逐渐集中到膝、髋关节。深度学习使得处理数千例患者的图像成为可能，诊断系统的效能也有了明显提高。Xue等[23]使用420幅骨盆X线训练和测试深度CNN，使其对髋关节OA诊断的敏感度达95.0%、准确度达92.8%，相当于经验丰富的医师水平。Tiulpin等[24]使用MOST数据库训练深度孪生CNN，以OAI数据库测试的结果显示，其ROC曲线下面积（AUC）为0.93，诊断一致性高于医师平均水平。Norman等[25]使用OAI数据库训练和测试密集卷积网络，对正常及不同程度膝关节OA分类的敏感度为68.9%~86.0%，特异度为83.8%~99.1%。这些系统能辅助医师诊断OA，减轻工作强度。近来Brahim等[26]基于OAI数据库使用机器学习开发了完整的计算机辅助诊断系统，使膝关节OA早期诊断准确率达82.98%、灵敏度达87.15%、特异度达80.65%，还能避免摄片因素对诊断的影响。
MR图像能为OA诊断提供更多的信息，自动化的分级评估系统能够减少繁重的评分工作，半定量或定量地评估疾病的状态和进展情况。较早的研究首先使用传统的机器学习算法实现了对于OA的辅助诊断。Wu等[27]使用径向基神经网络分类，检测了46个膝关节MR图像，早期诊断OA的准确度达75%，其中训练集和正常膝关节的准确度达100%。Ashinsky等[28]使用基于层次特征提取及形态学算法检测了19例患者的膝关节MR图像，对软骨退化状态分类的准确度可达86%，可用于OA的临床检测和分级。随后的研究则将深度学习方法引入了OA的辅助诊断及鉴别诊断中。Liu等[29]对175例膝关节疼痛患者的MR图像分别以2个二维CNN实现了软骨的自动分割和自动诊断，同一组放射科医师训练的2个模型的AUC分别为0.917和0.914，且一致性较好，可用于鉴别软骨退变和急性软骨损伤。Pedoia等[30]使用二维U型CNN自动分割软骨和半月板、三维CNN自动检测其病变，评估1 478例不同阶段OA、前交叉韧带损伤以及重建后患者的结果显示，系统能识别半月板和髌骨软骨病变，并能对严重程度进行分类。Bien等[31]使用CNN开发的膝关节MRI辅助诊断系统，能进一步鉴别包括OA在内的异常表现、前交叉韧带撕裂以及半月板撕裂，诊断相当于普通放射科医师水平。
五、基于AI的OA预测模型
OA诊疗需要识别和筛选出最可能从治疗中获益的患者。为此，需要建立医学预测模型精确分析患者个体数据，以预测其患病风险和疾病预后[32]。较早的模型主要基于传统的统计方法建立，难以处理大量的影像数据，因此预测效果欠佳。随着机器学习的兴起，影像数据也被纳入到OA预测模型之中，使预测效果有了较大的提升。
Kinds等[33]和Kerkhof等[34]使用传统的统计方法建立的模型已经充分说明了影像数据对于OA预测的价值。Yoo等[35]最早将机器学习引入OA预测模型中，比较了基于患者临床数据的评分系统结合ANN模型的性能，内部验证显示对于OA的预测性能有明显改善，使用OAI数据的外部验证印证了这一结果。Lazzarini等[36]使用随机森林法建立了基于临床数据和X线等信息的预测模型，预测中年肥胖女性30个月后发生OA的AUC大于0.731，还发现X线较临床数据对于预测更有价值。Minciullo等[37]同样使用随机森林法建立了基于X线的膝关节疼痛预测模型，手工标注X线特征时模型的AUC为0.739，使用全自动X线图像分析时的性能与之相当。MRI的引入进一步提高了模型的应用价值，Ashinsky等[38]使用加权邻域距离算法建立了基于MRI的模型，预测患者进展为症状性OA的准确度达75%。Du等[39]则使用了4种机器学习算法开发了基于MRI的模型，发现ANN预测K-L分级和外侧关节间隙变窄定义的OA性能最佳，AUC分别为0.761和0.695；随机森林法预测内侧关节间隙变窄定义的OA性能最佳，AUC为0.785，提示内侧关节间隙能提供更多OA相关信息。在OA预测模型中引入AI以及影像数据，不仅可提高预测性能，还能对OA发生发展的机制提供线索。
六、问题与展望
虽然AI在OA影像中的研究已取得了长足进展，但远不及肿瘤、神经等热门领域[3,4,5,6,7,8]，仍然存在许多不足，主要如下。（1）中国影像数据库容量不足：目前虽然已经出现了一些公开的OA以及肌肉骨骼影像数据库[9,10,11,12,13]，但数据库的容量较为有限，如SKI10数据库[12]仅收录了150个膝关节MR图像。同时公共数据库样本绝大多数来自欧美人群，目前尚未出现以中国或亚洲人群为主的大型OA或肌肉骨骼影像数据库。在此基础上开发的辅助诊断系统或预测模型并不完全适合中国人群，研究面临数据瓶颈。因此，构建以中国人为研究对象的数据库具有重要意义[40]。（2）图像分割与后处理尚不完善：OA是一种全器官疾病[1]，但目前的研究主要集中于膝关节软骨与骨的分割[14,15,16,17,18]，仅有少量研究关注到了膝关节的其他结构，如半月板、肌肉、韧带等[19,20,21]。下一阶段有必要将膝关节视为一个整体开展研究，实现膝关节所有组织的自动分割。同时，还需进一步探索膝关节AI图像分割方法在其他解剖部位应用的可行性。（3）软件距临床应用还有距离：虽然目前已经基于影像以及其他临床信息开发出了OA辅助诊断以及预测的AI模型，但并无真正在临床推广应用的产品。此外，目前基于影像的AI还不能很好整合影像与病史、体征、实验室检查以及其他检查信息，综合判断以提高诊断的准确率，供临床决策参考。今后的研究需要跨学科的医师、跨专业的理工科研工作者进行深入而广泛的合作，开发真正能够用于临床诊断和鉴别诊断的模型，形成有生命力的产品[40]。
AI在影像中的应用在大量高质量的数据、高性能的计算机硬件以及云储存的支持下成为可能。AI能快速、准确地解读医学图像，变革医学影像诊断模式，与其他领域的AI应用一起推动精准医疗的发展。
参考文献（略）