【Cochrane读书会】偏倚风险评价(二)

Cochrane 读书会 [8]

图文 / 刘元&吴梦燕

排版 / 唐威龙

指导老师 / 花放

偏倚风险评估工具的使用

01

非随机干预性研究偏倚评估工具

(ROBINS-I)

一、适用范围:非随机干预性研究

二、评价流程:

①第I阶段:定义研究问题;

②第II阶段:构造出一个假想的实用性随机化“目标'试验('target' pragmatic randomized trial)

③第III阶段:每个领域的偏倚风险等级分为“低(low)、中(moderate)、高(serious)、极高(critical)和未获得评估信息(NI,即不清楚)”5个等级。

三、ROBINS-I明确地为每个领域设置了数个信号问题,要求评估者先对信号问题作出判断

NA:“Not applicable”

Y:“Yes”

PY:“Probably yes”

PN:“Probably no”

N:“No”

NI: “No information”

四、评价领域:

混杂偏倚:在NRSI中,不同干预组间研究对象的特征很可能有较大的差别。当一个或多个重要的预后因素可能影响个体是否接受某干预措施时,干预效应的估计就会产生偏倚。

研究对象的选择偏倚:当排除的部分合格研究对象,初始随访时间或部分结局时间与干预措施和结局有关时,即使各干预措施的效应实际并无差别,此时所得到的结果仍会提示干预措施与结局之间存在联系。

干预分类的偏倚:无差异错分与结局无关,通常会使效应估计值偏向无效假设。当干预状态的错分与结局或结局风险有关时,就会发生差异性错分。

偏离既定干预的偏倚:除了试验组和对照组所研究的干预措施以外,若伴随干预在组间存在系统性差异,此时会产生偏离既定干预的偏倚。依从性差或共同干预是否会导致偏倚取决于所研究的效应。

⑤缺失数据偏倚:数据缺失的原因包括数据损失(失访)、错过预约、数据收集的不完整、进行分析时排除部分研究对象。

⑥结局测量的偏倚:由于结局错分或测量误差导致的。

⑦结果选择性报告的偏倚:结果报告偏倚(Outcomereportingbias);分析报告偏倚 (Analysis reporting bias)。

五、整体偏倚评估

在完成信号问题的回答与评估后,评估者需要根据回答的情况对相应领域的偏倚风险,按照事先制定的标准给出

“低、中、高、极高或 不清楚”(low, moderate, serious, critical, or noinformation)的风险评估。

根据所有单个领域的评估结果对“整体偏倚”这一综合领域作出评价。

六、整体偏倚评估原则:

  • 所有7个评价领域为低--“低”(Low risk of bias)

  • 所有7个评价领域为风险低/中--“中”(Moderate risk of bias)

  • 至少一个评价领域风险高但无任何评价领域为极高风险--  “高”(High risk of bias)

  • 至少一个评价领域风险极--“极高'(Critical risk of bias)

  • 缺乏关键评价领域的相关信息-- “未获得评估信息(不清楚)”(No information, NI)。

02

平行设计随机对照试验偏倚评估工具2.0(RoB 2.0)

一、“偏倚评估工具2.0版本”(RoB 2.0)的制定背景

在过去制定的数十种RCT偏倚风险评估工具中,2008年公布和2011年更新的RCT的偏倚风险评估工具(RoB 1.0)克服了既往评估工具项目不完整或过于复杂、量表评分权重不合理等问题,成为Cochrane系统评价、非Cochrane系统评价中常用的主流评估工具。

然而,RoB 1.0并没有对RCT研究设计类型加以明确区分,也没有对干预的分配效果和依从效果进行明确界定。并且,该工具没有充分考虑组间沾染的问题。“偏倚评估工具2.0版本”(RoB 2.0) 应运而生,涵盖平行设计、交叉设计和整群设计,明确了RoB 1.0中一些容易造成混淆的概念,并调整了部分评估项目。

平行设计的工具是整个RoB 2.0工具的基础,交叉设计和整群设计的工具是在此基础上扩展而来的。本文主要介绍平行设计的RoB 2.0工具。

二、工具解读

1、RoB 2.0的领域设置

(1)随机化过程中的偏倚

(2)偏离既定干预的偏倚

(3)结局测量的偏倚

(4)结局数据缺失的偏倚

(5)结果选择性报告的偏倚

(6)整体偏倚

2、RoB 2.0的信号问题设置

RoB 2.0明确地为每个领域设置了数个信号问题,要求评估者先对信号问题作出 “Yes(是)”、“Probably yes(可能是)”、“Probably no(可能不是)”、“No(不是)”、“Not applicable(不适用)”或“No information(不清楚)”的回答。通过对信号问题的回答,作者可了解偏倚来源的信息,即相关“信号”,然后依据这些“信号”进一步对各领域的偏倚风险进行评估。

(1)  随机化过程中的偏倚

1.1:“分配干预的方案是否随机产生”

产生随机序列的正确方法:抛硬币、扔骰子、扑克牌、随机数字表、计算机随机等;

不正确的方法:交替分配、按出生日期、病历记录号和记录日期分配等。

1.2:“是否采用了分配隐藏”

判断分配序列隐藏

充分的最低标准

判断分配序列隐藏

充分的扩展标准

中心随机

中心随机处远离患者招募中心,受试者的详情通过电话、传真或电子邮件提供给随机中心,且分配序列隐藏到受试者确定入组后。

有序编号的药物容器

药物容器由独立的药房准备,按顺序编号,并依次打开,容器的外观相同,防篡改、重量相等。

顺序编号,不透明,密封的信封

受试者的详情写在信封上后,信封按顺序编号,并依次打开。信封中的感光纸或复写纸会传递受试者的详情,信封内用厚纸板或铝箔不会透过强光,用防干扰的扎带将信封密封。

1.3:“是否存在由随机化过程中的问题造成的组间基线不均衡”

有观点认为,在随机化的前提下,组问基线不均衡是因为随机因素引起的,不应作为偏倚风险的考虑范畴。然而,如果出现重要预后因素的组间不均衡,很可能会导致结果难以解释。而且,当多个因素基线不可比时,有理由对随机化的过程提出质疑,尤其是当作者没有明确报告是否采用了真正随机的方法和/或分配隐藏的方法的时候,组间基线可比性是衡量随机化是否真正实现的一个替代指标。

(2)偏离既定干预的偏倚

在理想条件下,所有RCT中的研究对象应当严格按既定的方案接受研究者分配的干预,但在实际研究实施中,经常有各种主观和客观因素导致患者实际接受的干预偏离了既定的干预方案。

2.1: “研究过程中研究对象是否知道他们接受哪种干预”

2.2:    “研究过程中医护人员和研究人员是否知道研究对象接受哪种干预”

2.3:  “在患者接受的干预中,是否存在非常规的干预改变”

患者因为干预产生的不良反应而终止干预,虽然既定干预产生了变化,但因为常规临床实践中,患者出现此类不良反应时也需要终止服药,故此类变化属于“常规”的干预变化。这种变化带来偏倚的可能性较小。另一种情况是,干预变化并不是“常规”实践。例如,分配到安慰剂组的患者去寻求其他治疗,产生了与既定研究方案的变化,这种变化可能对研究结果带来偏倚。

2.4:“干预变化是否在组间不均衡,并可能对研究结局造成影响”

并非所有与既定干预的偏离都会带来偏倚,只有在同时满足干预变化组间不均衡和干预变化影响研究结局这两个条件才可能带来偏倚。例如,某项RCT中,对照组部分患者改用了一种新药,而在干预组中,有相似比例和类似特征的患者也改用了该新药。此例中存在与既定干预的偏离,且这种偏离可能影响结局,但因为这种变异在组间大致均衡,故带来偏倚的风险相对较低。

2.5:“是否有研究对象没有被按照其分配的干预措施进行分析”

因为综述作者的目的是评估干预分配的效果,在数据分析中,患者的分组应当根据随机化分配的方案确定,而不能通过患者实际接受的干预确定,否则会破坏组间随机化。

2.6:“错误的分组是否会对分析结果产生影响”

在数据分析中,若有患者偏离了既定干预,即便没有采用ITT分析,也不一定给研究结果带来偏倚。偏倚风险大小还取决于出现未依从、沾染等情况的比例。RoB 2.0认为,若超过5%的研究对象在组别的划分中出现了错误,则可能对结果产生影响。但对于罕见结局,更小的比例即可对结果产生影响。

2.7:“重要的伴随干预措施在不同组间是否均衡”

RCT中,研究对象除了接受分配的干预措施外,可能还同时接受其他的伴随干预。并非所有伴随干预都会对研究结果带来偏倚,只有当伴随干预在组间不均衡和伴随干预会对结局产生影响这两个条件同时满足的情况下,伴随干预措施才可能造成偏倚。

2.8 :   “计划实施的干预措施是否成功执行”

关注的是干预实施者是否按照既定方案实施了干预。

2.9:  “研究对象是否依从了分配的干预措施”

关注的是研究对象是否接受并依从了干预。如果干预措施是一次性实施的,例如只需接种一次的疫苗,只要成功实施了干预,就代表研究对象依从了干预,因为这种情况下不存在不依从的可能;但如果不是一次性实施的干预,则可能因为组间交叉、依从性不佳、中断干预而造成偏倚。

2.10 :“研究是否采用了恰当的方法估计干预的依从效果”

与分配效果不同,在评估干预依从效果时不能忽视影响依从性的因素,需要用合理的分析手段对实际接受干预的偏离情况进行调整,如逆概率加权和边缘结构模型等。

(其中2.3至2.6的信号问题评估干预分配效果,2.7至2.10的信号问题评估干预依从效果,可根据系统评价作者的研究目的选择不同问题,而不需要全部评估)

(3)结局数据缺失的偏倚

结局数据缺失的原因:受试者主动或被动退出研究;受试者未参加本来应该参加的结果测量;受试者参加了测量但没有提供相关数据;受试者未完成记录或问卷;不能找到受试者;随访终止;数据或记录丢失等。

3.1:“是否可以获得全部或绝大多数研究对象的研究结局数据”

该问题基本与RoB 1.0中保持一致,如没有失访或失访率很低(一般是5%以下),则发生偏倚的风险较小。

3.2:“结局数据缺失的比例和数据缺失的原因在组间是否均衡”

'均衡'指组间缺失数据的比例接近,或仅有少量由随机误差造成的区别,而且各组缺失数据的原因在组间没有系统性差异。

3.3:“是否有证据支持,即便存在缺失数据,分析结果仍然是稳健的”

对于结果是否稳健,需要根据原始研究处理缺失数据的方法、敏感性分析的结果等进行综合判断。

(4) 结局测量的偏倚

该领域评估中,应注意对“结局评估者”的定义。若RCT采用的是患者报告结局(Participant reported outcome,PRO),那么结局评估者就是指研究对象自身。

4.1:“结局评估者是否知道研究对象接受的干预”

如结局评估者不知道研究对象接受的干预(或对研究结局评估者施盲),则发生偏倚的风险相对较小。如结局评估者知晓研究对象接受的干预,则需进一步回答第二个信号问题。

4.2:“知道研究对象接受的干预措施是否会对结局测量产生影响”

并非所有的研究结局都会因评估者知晓分配的干预而受到影响。典型的例子是全死因死亡,该结局评估中不涉及任何主观判断,故即便评估者知晓分配的干预,带来偏倚的风险也相对较低。此信号问题的回答中,须特别注意一些看似不受到主观影响的结局,但实际是结合了主观判断和客观测量(x线光片诊断某疾病、心肌梗死、体格检查结果等),或结合了主观决定和客观测量的结局(住院时间、入院、出院、终止治疗、转科、剖宫产等),评估这类结局时知晓分配方案仍可能带来偏倚风险。

(5)结果选择性报告的偏倚

关注的是研究者是否有选择地报告了研究结局数据。

5.1:“研究者是否对多重结局测量进行了选择性报告”

这里的多重结局测量是指对同一个结局在不同时间或用不同工具或用不同定义进行的多次测量。例如,某RCT在计划书中,明确指出研究结局是某指标在患者术后7 d、14 d、30 d时的测量值。但在最终的研究发表文章或研究报告中,仅报告了术后7 d的结局测量值,并未给出选择7 d这个时间点进行报告的恰当理由,此时就存在选择性报告。

5.2:“研究者是否对多重分析的结果进行了选择性报告”

例如,某RCT在计划书中,明确在统计学分析部分指出,将对某连续型变量进行成组t检验分析,并按照某标准将此指标划分为阳性和阴性,进一步进行X2检验。但在最终的研究发表文章或研究报告中,仅报告了成组t检验分析结果,并未给出选择此结果进行报告的恰当理由,这种选择性报告也可能引入偏倚。

对结果选择性报告的判断,应依据研究计划书、统计分析计划书、试验注册平台等信息来源进行判断。研究计划的发表必须先于试验的开始在试验已经开始实施后进行的补救注册或计划书发表等不能排除选择性报告存在的可能。

(6)整体偏倚评估

整体偏倚风险低

(Low risk of bias)

上述所有5个领域评估结果均为低风险

整体偏倚风险高

(High risk of bias)

如果其中任意一个领域的评估结果为高风险或多个领域内的评估结果是可能存在风险

可能存在偏倚风险

(Some concerns)

除上述两种情况以外的RCT

整体上来说,RoB 2.0内容丰富、翔实。在RoB 1.0的基础上,进一步完善了各个偏倚评估重要组成部分的细节,强调了偏倚评估在证据整合与评价过程中的重要地位。相比于RoB 1.0,RoB 2.0有明显的优势。RoB 2.0细化了具体领域的评估过程,将RoB 1.0评估中易于产生困扰和分歧的项目,均使用信号问题进行明确指示,有助于提高评估结果的可重复性和一致性。此外,RoB 2.0不仅提供了偏倚风险评估,还提供了可能的偏倚方向评估,后者将有助于综述读者判断干预的真实效果方向。

与相对成熟的RoB 1.0工具不同,RoB 2.0尚处于完善阶段,还存在一些问题,如RoB 2.0的可操作性相比RoB1.0明显下降、RoB 2.0许多条目涉及到大量方法学知识和专业词汇,非方法学专业的综述作者使用本工具时可能存在困难、工具中一些细节需要进一步统一、现在还没有能够方便进行RoB 2.0评估的软件工具、RoB 2.0中一些条目的设置从方法学角度来说可能仍待商榷。

ROBINS-I 和RoB2.0在领域设置上的对比

划分方式

评价领域

ROBINS-I

RoB 2.0

干预前

1

混杂偏倚

随机过程中的偏倚

2

研究对象选择的偏倚

干预中

3

干预分类的偏倚

(无)

干预后

4

偏离既定的干预的偏倚

偏离既定干预的偏倚

5

缺失数据的偏倚

结局数据缺失的偏倚

6

结局测量的偏倚

结局测量的偏倚

7

结果偏倚性报告的偏倚

结果偏倚性报告的偏倚

整体

整体偏倚

整体偏倚

参考文献

[1]Higging JPT,Thomas J,Chandler J,Cumpston M,Li T,Page MJ,Welch VA(editors).Cochrane Handbook for Systematic Reviews ofInterventions version 6.1 (updated September 2020). Cochrane,2020.Available from www.training.cochrane.org/handbook .

[2]Sackett DL. Commentary: Measuring the success of blinding in RCTs: don't, must, can't or needn't? International Journal of Epidemiology 2007; 36: 664-665.

[3]Chan AW, Hróbjartsson A, Haahr MT, Gøtzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA 2004; 291: 2457-2465.

[4]Dwan K, Gamble C, Williamson PR, Kirkham JJ, Reporting Bias Group. Systematic review of  the empirical evidence of study publication bias and outcome reporting bias - an updated review. PLOS ONE 2013; 8: e66844.

武大口腔循证中心

网站:cebs.whuss.com

转载须注明出处并附二维码

© 武大口腔循证中心2018-2020

(0)

相关推荐

  • 今天你又拉三尖瓣峡部线了吗?

    肺静脉电隔离(PVI)是阵发性房颤消融的基石,而对于持续性或长时程持续性房颤而言,除单纯PVI外,常需附加线性消融.基质改良等策略.三尖瓣峡部线性消融(CTI)是典型房扑的经典消融策略.已有研究证实, ...

  • 关注|快速了解临床预测模型的建立

    定义: 临床预测模型(又称临床预测规则.预测模型或者风险评分):指利用多因素模型估算患有某病的概率或者将来某结局发生的概率. 方法: 传统统计方法:多因素回归分析构建预测模型. 机器学习方法:聚类.分 ...

  • 【动物实验】动物实验研究的系统评价问题与对策

    上次我们简单了解了治疗学研究动物实验的系统评价的目的和所出现的问题[动物实验]动物实验研究的系统评价目的与主要问题,这次我们就来详细介绍5大问题的内容和解决对策.(见表1)动物实验系统评价问题问题内容 ...

  • 医学营养干预对妊娠期糖尿病临床结局影响的荟萃分析

    李春微,于康,张燕舞,马良坤,李融融,王方 中国医学科学院北京协和医学院,北京协和医院 妊娠期糖尿病(GDM)是指妊娠期发生或首次发现的不同程度的葡萄糖耐量异常,是孕期发生的最常见的一种代谢紊乱.GD ...

  • 科普 | 随机对照试验(RCT)简介

    2020-05-02 12:05 随机化是临床科研的重要方法和基本原则之一.在科研设计中,随机化方法包括两种形式. 第一,随机抽样:指被研究的对象从被研究的目标人群中选出,借助于随机抽样的方法,使目标 ...

  • 益生菌荟萃分析:结论过硬吗?可信度如何?

    这是<肠道产业>第 779 篇文章 编者按 为了研究益生菌的临床疗效,科研人员经常会对相关的研究进行荟萃分析.实施良好的荟萃分析可以整理意见不一的证据,对不确定答案的问题,给出一个更为客观 ...

  • 针对不同研究目的,如何提出一个好的研究问题?

    开展一项有影响力的临床研究,最基本的一个要求是提出一个合理的.有临床意义的研究问题.研究问题的提出应该让研究者看到一条清晰的研究路径,并产生对患者和医生有意义的证据. 如今,大型数据库的激增,加上统计 ...

  • 实验室危害辨识、风险评价和风险控制管理

    如何有效地遏制实验室危害事故的发生,降低事故隐患及存在的风险,开展风险评价及控制措施的研究,探索实现安全生产的有效形式,从事故中汲取经验教训,落实安全措施,已是促进经济发展和保持社会稳定不可回避的问题 ...

  • 彭德怀与麦克阿瑟:朝鲜战场上三次对决后,各国如何评价二人

    前言 "凭君莫话封侯事,一将功成万骨枯",不管在哪一个年代,战争爆发就意味着严重的伤亡以及损失. 曾经不少国家为了促进本国发展,一直在想方设法地对外发动战争,但随着二战的进行,各国 ...

  • 读书笔记:EXCEL计算资产收益与风险(二)

    5.4.2 EXCEL计算资产收益与风险02 上节Excel操作课我们讲了如何计算单个资产期望收益率和标准差.这次给大家讲授如何计算两个以及两个以上资产组合的收益率和标准差.两种及以上资产的情况,除了 ...

  • 【解读】风险评价LEC法在风险分级管控中的应用

    作业条件危险性分析法LEC法(D=LEC) 相 关 术 语 危险:可能导致事故的现有的或潜在的根源或状态.  风险:某一特定危险事件发生的可能性和后果的组合. 事故:造成死亡.职业病.伤害.财产损失或 ...

  • 【PPT】危险源辨识、风险评价和风险控制,附:检查表带标准

    重要提醒 所有资料均有配套原版文件 扫描文末底部二维码入群可获取 点击链接: 800+安全资料免费无条件领取! 1200+安全视频快速查询.即刻下载!必备收藏! 4700+安全资料快速查询.即刻下载! ...

  • 中国人群粥样硬化风险评价:颅内动脉和颈动脉并存斑块与同侧缺血性卒中的相关性研究

    本研究共纳入351例患者,平均年龄62.5±9.6岁,男性228例(65.0%).ACI组颅内外动脉并存斑块所占比显著高于非ACI组,尤其是颅内动脉狭窄≥50%合并颈动脉平均管壁厚度(MWT)≥1 m ...

  • 读书会第三十二讲 《心灵种种---对意识的探索》

    今天探讨的是意识相关的话题,阅读的书仍然是丹内特的著作. 这本书不厚,大概160页左右,分为六章,我看了四章,颇有收获.之所以选这本书,是承接上周的读书分享,上周谈的是自由的进化,其实讨论的主要是自由 ...

  • 图解项目风险管理和风险评价

    图解项目风险管理和风险评价

  • 五大戒律回避巨亏风险(二)

    原创 黄祖斌 黄祖斌 今天 三是谨慎对待只能用市梦率估值的股票.去年有不少中国的科技股(比如芯片.5G等),市值纷纷已经达到甚至超出国外技术更先进,市场份额更大的同类企业.这个就很荒唐了.科技是第一生 ...