预测模型第3篇|你的预测模型文章报告是规范的吗？
欢迎来到医科研，这里是白介素2的读书笔记，跟我一起聊临床与科研的故事, 生物医学数据挖掘文献分享，R语言，TCGA数据、GEO数据库, SEER数据挖掘, 临床预测模型研究。
预测模型的研究报告规范我们清楚了吗？本文是笔者本人学习笔记,做一小结，主要内容是来自 Tripod 2015 statement，笔者做了部分解读。仅供大家参考学习，原文版权归原作者所有。下一篇文章将会详细的介绍 Checklist内容，一篇预测模型的文章究竟需要哪些内容？
如何报告临床预测模型文章才是规范的？后期会进一步详细去学习。
摘要
开发预测模型来帮助医疗保健提供者评估存在特定疾病或状况的可能性或风险（诊断模型）或将来会发生特定事件的可能性（风险模型），以告知他们的决策。但是，绝大多数证据表明，预测模型研究的报告质量很差。只有全面，清晰地报告有关预测模型各个方面的信息，才能充分评估存在偏倚的风险和预测模型的潜在应用价值。The Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) 计划提供了预测模型相关论文的报告规范建议。本文介绍了TRIPOD声明是如何开发的。根据文献回顾创建了一个广泛的项目清单，在基于网络的调查之后有所减少，并在2011年6月与方法学家，卫生保健专业人员和期刊编辑举行的为期3天的会议上进行了修订。在指导小组的几次会议上以及与更广泛的TRIPOD贡献者小组的电子邮件讨论中，对清单进行了完善。最终的TRIPOD声明是22项的checklist，被视为透明报告预测模型研究必不可少的。TRIPOD声明旨在提高预测模型研究报告的透明度，而与所使用的研究方法无关。TRIPOD声明最好与TRIPOD解释和阐述文件结合使用。为了协助编辑过程和预测模型研究的读者，建议作者在提交的内容中包括完整的清单（也可从www.tripod-statement.org获得）。（也就是如果是预测模型相关的文章，你要投稿时提供一个完整的list给杂志，这样让编辑能够很清晰的判断报告质量）
编者注
为了鼓励传播TRIPOD声明，该文章同时发表在11个重磅杂志上，包括：Annals of Internal Medicine Web site (www.annals.org) and will be also published in BJOG, British Journal of Cancer, British Journal of Surgery, BMC Medicine, British Medical Journal, Circulation, Diabetic Medicine, European Journal of Clinical Investigation, European Urology, and Journal of Clinical Epidemiology.
介绍
在医学上，医生可能会根据存在特定疾病或状况（诊断背景）或将来会发生特定事件（预测背景）的估计风险或概率来做出众多决定。在诊断环境中，可以使用存在某种特定疾病的可能性，例如，告知患者转诊以进行进一步检查，直接开始治疗或向患者保证不会出现严重症状的可能性。在预后情况下，可以基于在特定时期内出现特定结局或健康状况的风险，将预测用于计划生活方式或治疗决策。这样的风险估计也可以用于对治疗性临床试验的参与者进行风险分层。
简单的理解就是得出一个风险估计：例如，病人术后发生感染的风险？患某个疾病后还能活多少年？这些疑问我们此前的回答可能会给出一个群体的数据，但是预测模型则可根据个体化的情况来回答这个问题。
预测模型研究有哪些类型？
在诊断和预后方面，概率估计很少基于单个预测变量。医生自然会结合几种患者特征和症状（预测因素，测试结果）做出预测（诊断和预后研究之间通用术语的差异）。因此，预测本质上是多变量的。预测模型（通常也称为“预测模型”，“风险评分”或“预测规则” ）是通过将多个权重分配给每个预测变量以获得风险或概率来组合多个预测变量的工具。著名的预测模型包括Framingham风险评分；Ottawa Ankle Rules；Nottingham Prognostic Index ；和Simplified Acute Physiology Score。
预测模型研究
预测模型研究可大致归类为模型开发, 模型验证（有或没有更新）或 预测模型开发和验证。模型开发研究旨在通过选择相关的预测变量并将其统计组合为多变量模型来推导预测模型。Logistic和Cox回归最常分别用于短期（例如，疾病相对于现在，30天死亡率）和长期（例如，十年风险）结果。研究还可能量化特定预测变量（例如，新发现的）对预测模型的增量或增加的预测值。
由于过度拟合（相对于候选预测变量的数量太少而导致的结果事件少），在基于模型开发所基于的相同数据上对模型的预测能力进行量化，将倾向于给出乐观的性能估计。因此，开发新的预测模型的研究应始终包括某种形式的内部验证，以量化已开发模型的预测性能（例如，校准和判别）的乐观结果。内部验证技术仅使用原始研究样本，并包括 Bootstrap 或交叉验证等方法。内部验证是模型开发的必要部分。在模型开发过程中，还可以通过应用收缩（例如，启发式或基于自举技术）或惩罚程序（例如，岭回归或套索）来解决和解决过度拟合，乐观和错误校准问题[20]。
我们其实看到很多文章并没有内部验证。
在建立预测模型之后，强烈建议在模型开发所用的其他独立数据中评估模型的性能。这种外部验证要求对于新数据集中的每个人，都使用原始模型（即已发布的回归公式）进行结果预测，并与观察到的结果进行比较。外部验证可以使用由相同研究者收集的参与者数据，通常使用相同的预测变量和结果定义和度量，但从后期进行采样（时间验证或狭窄验证）；由另一家医院或国家/地区的其他研究人员，有时使用不同的定义和度量（地理或广泛的验证）；在相似的参与者中，但设置了不同的环境（例如，在二级保健中开发并在相似的参与者中进行评估但从初级保健中选择的模型）；甚至其他类型的参与者（例如，在成人中开发并在儿童中评估的模型，或用于预测致命事件并针对非致命事件进行评估的模型）。如果性能不佳，可以根据验证数据集来更新或调整模型。
报告多因素预测模型
开发或验证多变量预测模型的研究为研究人员带来了特定的挑战。一些评论评估了描述开发或验证预测模型的已发表报告的质量。例如，
Mallett及其同事研究了2005年发表的47篇报告，这些报告提出了新的癌症预测模型。发现报告不清洗，从模型描述的各个方面到描述的信息不足，从患者数据的描述到统计建模方法。
Collins及其同事[24]评估了2011年5月之前发表的39篇临床预测模型报告的方法学报告，这些报告描述了预测流行或2型糖尿病的模型的发展。还发现报告总体上不佳，其中预测变量的关键细节，缺失数据的处理和报告以及模型构建策略的描述通常很少。
Bouwmeester及其同事对71份预测模型研究进行了评估，这些报告于2008年在6篇具有影响力的普通医学期刊上发表，同样观察到报告水平极其低下。
这些评论和其他评论清楚地表明，在不同疾病地区和不同期刊上，预测模型研究的报告水平普遍较差。此外，这些评论表明，在统计方法上存在严重缺陷，使用小的数据集，对丢失的数据进行不适当的处理以及缺乏验证是常见的。此类缺陷最终导致未使用或不应使用的预测模型。因此，相对于已发布的大量模型，很少有预测模型在临床实践中得到广泛实施或使用。
这一点到是与我们的认知相符合， prognostic model现在Pubmed上成千上万了估计有，但真正应用到临床的模型却非常少，大家都在忙于开发新模型，今天一个，明天又一个，没有什么太大的意义。
近年来，医学方面的预测模型激增。卫生保健提供者和政策制定者越来越多地建议在临床实践指南中使用预测模型，为临床途径的各个阶段的决策提供依据。报告研究的一般要求是，如果需要，其他研究人员可以复制所采取的所有步骤并获得相同的结果。因此，至关重要的是，必须清楚地报告有关如何开发和验证预测模型的关键细节，以便对所有相关信息进行综合和严格评估.
预测模型研究的报告指南：TRIPOD声明
TRIPOD声明，该指南专门设计用于报告开发或验证多变量预测模型的研究的报告，包括诊断和预后模型。TRIPOD不适用于病因学研究中的多变量建模或研究单个预后因素的研究。此外，与未使用模型相比，TRIPOD也不适用于量化使用预测模型对参与者或医生的行为和管理，参与者健康结局或护理成本效益的影响研究。
已有的其它报告指南
观察性报告指南（加强流行病学观察性研究报告[STROBE]）[39]；肿瘤标志物（对肿瘤标志物预后研究的报告建议[REMARK]）[37]；诊断准确性（用于诊断准确性研究报告的STAndards [STARD]）[40]；遗传风险预测（Genetic RIsk Prediction Studies [GRIPS]）[41]研究都包含许多与开发或验证预测模型有关的项目。但是，这些指南都不完全适合于预测模型研究。与预测模型最相关的2条准则是REMARK和GRIPS。但是，REMARK清单的重点主要是预后因素，而不是预测模型，而GRIPS声明旨在利用遗传风险因素和围绕处理大量遗传变异的特定方法论问题进行风险预测。
TRIPOD应运而生， TRIPOD明确涵盖了针对所有医学领域和所有类型的预测因素的诊断和预后模型的开发和验证。TRIPOD还更加重视验证研究和此类研究的报告要求。（请参阅随附的解释和详细说明文件[43]；可在www.annals.org上找到）。
TRIPOD的组成
TRIPOD声明是22项检查清单，对于开发或验证多变量预测模型的研究进行良好报告至关重要（表1）。这些项目涉及标题和摘要（项目1和2），背景和目标（项目3），方法（项目4至12），结果（项目13至17），讨论（项目18至20）和其他信息。（项目21和22）。
TRIPOD声明涵盖：
仅报告开发预测模型的研究
预测模型的开发和外部验证
以及仅外部验证（有或没有更新）
D表示开发，V表示验证， D,V表示开发和验证
TRIPOD中的建议仅是报告研究的指南，并未规定如何开发或验证预测模型。此外，该指南也不是衡量多变量预测模型质量的质量评估工具。越来越多的研究正在评估特定预测变量的增量值，超出已建立的预测变量甚至超出现有的预测模型
除了《 TRIPOD声明》外，作者还以与其他报告准则相似的方式提供了支持性的解释和阐述文件。每个清单项目都得到了解释，并附有已发表文章的良好报告示例，这个阐释文件我也会放到星球上，供大家下载学习。
Members of the TRIPOD Group
我相信如果你看完下面这个列表，你是一个会思考的人，你肯定会跟我一样深思：
为什么全是国外的大学，医学中心，医院，研究人员？
这样的研究指南报告规范为什么不是由我们国家来参与、甚至去制定呢？
这又让我想起来前段时间一个中科院的研究生不停的盗版别人的视频发到B站，还乐此不疲；跟他苦口婆心沟通了半天，对牛弹琴；身处国家最高科学研究机构的人啊，不钻研学业，总干这个事。
作为医生、研究生，科学家们，我辈仍需努力啊！
Gary Collins (University of Oxford, Oxford, United Kingdom);
Douglas Altman (University of Oxford, Oxford, United Kingdom);
Karel Moons (University Medical Center Utrecht, Utrecht, the Netherlands);
Johannes Reitsma (University Medical Center Utrecht, Utrecht, the Netherlands); Virginia Barbour (PLoS Medicine, United Kingdom and Australia);
Nancy Cook (Division of Preventive Medicine, Brigham & Women's Hospital, Boston, Massachusetts);
Joris de Groot (University Medical Center Utrecht, Utrecht, the Netherlands);
Trish Groves (BMJ, London, United Kingdom);
Frank Harrell, Jr. (Vanderbilt University, Nashville, Tennessee);
Harry Hemingway (University College London, London, United Kingdom);
John Ioannidis (Stanford University, Stanford, California);
Michael W. Kattan (Cleveland Clinic, Cleveland, Ohio);
André Knottnerus (Maastricht University, Maastricht, the Netherlands, and Journal of Clinical Epidemiology); Petra Macaskill (University of Sydney, Sydney, Australia);
Susan Mallett (University of Oxford, Oxford, United Kingdom);
Cynthia Mulrow (Annals of Internal Medicine, American College of Physicians, Philadelphia, Pennsylvania); David Ransohoff (University of North Carolina at Chapel Hill, Chapel Hill, North Carolina);
Richard Riley (University of Birmingham, Birmingham, United Kingdom);
Peter Rothwell (University of Oxford, Oxford, United Kingdom);
Patrick Royston (Medical Research Council Clinical Trials Unit at University College London, London, United Kingdom);
Willi Sauerbrei (University of Freiburg, Freiburg, Germany);
Ewout Steyerberg (University Medical Center Rotterdam, Rotterdam, the Netherlands);
Ian Stiell (University of Ottawa, Ottawa, Ontario, Canada);
Andrew Vickers (Memorial Sloan Kettering Cancer Center, New York).
参考文献
pdf版本的文献原文我已上传到知识星球，供大家学习。
组建科研交流群通知
优秀会吸引优秀，微光会吸引微光。