实验无法重复?裴钢：拿出实质证据，侯兴宇：实验重复不一定可靠！
解螺旋公众号·陪伴你科研的第2465天
实验不可重复，如何自证清白
近期，首都医科大学校长饶毅公开举报中科院院士裴钢涉嫌学术不端，成为了学术界的开年第一瓜。随着几个回合的公开论战，此次举报事件持续升温，终是引起全网热议。
1月25日，裴钢就此事回应财新记者称，饶毅应拿出实质证据。
1月26日，针对“饶毅举报裴钢学术造假”事件，中科院道德建设委员会发文回应称已经调查过裴钢论文未发现造假，对饶毅的举报不再调查。
事情发展到此，这起学术不端的举报事件正式落下帷幕。而在此之前，中科院道德委员会侯兴宇处长发文称“重复实验在生命科学中并一定可靠”。
显然，最近这波热议的焦点就在于实验的重复性问题。那么实验不可重复究竟能不能与学术不端挂钩呢？
所谓的重复性，就是他人能够用作者提供的方案和材料将研究结果重现出来。众所周知，可重复性是自然科学研究的基本规则。毕竟，科学不关心孤立或巧合的个别现象，而且只有通过研究事物与现象之间发现了重复性，科学规律才具有客观性与预测性。
理论上，任何成功的科学实验都应该可以在不同的研究主题间重复实验，但现阶段，生物医学研究实验可重复差的情况已然“蔚然成风”。
2012年，生物技术巨头安进公司（Amgen）曾对53篇具有“里程碑”意义的论文进行重复性验证，结果只有6篇文章可以重复。2015年，Science的一篇文章发现发表在3份顶级心理学期刊上的100项研究能重复出来的不足一半。
2016年Nature杂志在线调查了1576名研究人员后，发现了其中有70%的研究人员曾试图复制其他科学家的实验并以失败告终，超过一半的研究人员竟无法重复出自己的实验。
同时，超过60%的被调查者认为论文发表的压力以及选择性报道是科研实验无法重复的重要原因。
当然，不可重复性并非当代的产物。大约350年前，化学家Robert Boyle就曾写过一篇关于“实验不成功性”的文章，警告读者不可尽信研究报告，且原因归结于“科学家技能不足和材料纯度不够”，即今天所说的统计功效不足。
1830年，博学家的 Charles Babbage在谈论这一问题的语气就辛辣得多了，他直言“科学界存在多种欺骗行为”，即“糊弄、伪造、粉饰和篡改”。
换言之，实验不可重复与学术不端之间确实有点微妙而根本的区别，因为实验不可重复是两种因素的产物：错误的研究行为和学术不端。
前者主要是因为影响研究可重复性的条件也实在太多太多了。实验过程中，尽管人们可以相对严谨地控制实验变量，但是“误差”总是不可避免的客观存在。而实验中每个环节（环境温度、试剂的品牌、实验人员的操作方法）所产生的微小差异在不断的积累后（一旦超过5%），就会形成足以影响实验结果的大问题。
这种情况，就属于学术上的“诚实的错误”，或者对同一个事物作出了错误的解释和判断。这时，只需要期刊杂志编辑对相应文章进行撤稿即可。
而后者就是存在主观的恶意，在论文中存在捏造、篡改数据等无中生有的学术不端行为。这种行为往往比较隐蔽，只有练就了“火眼金睛”的资深期刊编辑，才有可能将其揪出；否则就只能根据内部人士的揭发进行调查。
这就意味着即便学术不端行为的存在会导致实验不可重复，但学术不端和可重复性之间依然不能直接挂钩。
毕竟，虽然实验的可重复性增加了实验的真实性、科学发现普遍存在的可能性，但不能用于完全排除学术不端行为存在的可能；反之，实验不可重复，说明实验结果的可信度降低，能够为提出学术质疑提供条件，但并不能简单地用于做出学术不端的判定。而是否存在主观的捏造、篡改和剽窃等行为，则是判定学术不端的直接依据。
显然，单单“实验的不可重复”，还不足以成为学术不端的实质证据。所以，除了人证、物证外，举报者还需要加上能排除“诚实错误”的证据。而要拿出这个要举证，确实很有难度，想来这大概也是裴钢和侯兴宇做出上述回应的根本原因。
其实，在面对学术质疑时，裴钢应该以最快的速度开始重复实验用以自证清白，而非顾左右而言他。即便结果重复不出来，也应该感谢饶毅替他找出学术文章的问题，然后进行撤稿。这才是尊重科学的人应该有的表现。
但裴钢的这种回应无异于放弃自证，放弃学术道德，并试图依靠权势依靠无赖把这件事情掩盖过去。这也难怪众人对裴钢此番举措感到愤怒和失望了。
完美设计科研实验，
对低重复性说NO!
正所谓，前车之鉴后车之师，如果我们要改变科学实验重复性低的情况，又该如何做呢？
根据Nature的调查报告90%的调查者认为更好的实验设计、更科学的统计学分析，以及更好的监管和指导这三点对提高科研成果的可重复性是非常重要的。
既如此，本文针对实验设计，介绍一些提高实验重复性的设计小技巧——
01对照实验
实验中设置对照实验，可以更好地排除实验中的影响因素，并且可避免在漏掉实验种重要结果的风险。实验中的阴性对照和阳性对照实验，可以避免实验结果中出现“假阴性”和“假阳性”结果。同时，实验中的样本最好能有个备份，这样即使实验中的样本出现问题，还有备份样品对实验进行补救。
02盲式实验
盲式实验有助于减少外部因素对实验结果的影响，在临床试验新药测试中应用最为广泛。
在单盲临床试验中，一半试验参与者接受试验治疗（药物），另一半接受安慰剂（模拟）治疗，其中参与者并不知道他们接受了哪种治疗方式。安慰剂组作为对照，可消除参与者的期望对测试治疗结果的影响可能性。而在双盲研究中，受试者和研究者都不知道试验参与者接受了哪种治疗。
03平衡性别、年龄和种族间差异
对于最终适用于男性和女性的治疗方式，动物试验和临床试验应包括来自每个性别的相似数量的参与者。理想情况下，研究对象或临床试验参与者应该在实验/试验的范围内尽可能代表不同人群。
同样的道理也适用于平衡种族和年龄间的差异。当受试人群限于某一年龄段和/或种族时，结果不能被认为是普遍适用的。如果你无法做到平衡实验对象的性别、年龄或种族差异时，请在论文的讨论部分说明实验方法的局限性。
04足够的样本量
样本量的大小必须反映实验所需的统计功效程度。例如，一项试点临床研究通常由10到30名参与者组成。适当的样本量取决于至少两个重要因素：误差范围（即置信区间）和置信水平。
误差范围：如果你将误差范围设置为5％，且测试的治疗方法对参与者的90％有积极影响，则应该预计未来人群中的85-95％（即后续试验参与者或患者），会对测试的治疗方法产生积极的反应。
置信水平：该数值反应了实际上对治疗方法产生积极反应的人群百分比出现在以上误差范围的频率。简而言之，如果研究中选择了95％的置信区间，那么在95％的时间中，85-95％的人群对治疗会作出积极回应。
综合起来，误差幅度和置信水平可反应出样本量对测试的人群有多大的适用性。
05实验对象
文章材料部分要介绍清楚实验对象的选取方法和实验对象的来源、特征。如采用具商标名的仪器、化学试剂或药品时，还应包括对仪器进行精确的技术说明，并列出试剂或药品的主要化学和物理性质；有些甚至要求仪器和样品制造商的名称及所在地。
对于实验材料，应采用国际同行所熟悉的通用名，尽量避免使用只有作者的本国同行才知道的专门名称。实验用的动物、植物和微组织应准确地标识出(通常按属、种和世系名列出)，并说明其来源和特殊性质(年龄、性别、遗传学和生理学状态)、抽样的要求或标准等。
如果研究对象是人(志愿者或病人)，则应特别注意拟投稿期刊的具体要求，应交代研究对象的选择标准，并根据情况兼顾一般性的重要统计特征(年龄、性别和身体状况)，以及其他与论文主题相关的统计信息(如体重、身高、种族等)。
在文章中如此描述材料和方法既可以估计抽样误差，也可以让读者了解文章内容和结论的使用范围。
06实验试剂
在方法中要介绍清楚每种实验的设计方案，如用了什么样的试剂、每一步骤处理时间、操作手法等等。最后还有必不可少的statistical analysis部分，写出数据处理的盲选法、测量指标及判断差异结果的标准等等。
实验中所用的试剂尽可能选择市售的试剂。因为市售的试剂在生产后会进行质检验证，其质量应该值得信赖。如果研究者根据以前发表的文章自行准备试剂（例如缓冲液），需要对该文章进行引用，同时可联系该文章作者以确保在试剂配制过程中出现的疑问都能得到相应的解答方案。如果缓冲试剂的配方未公开，也请清楚描述试剂配制批次中所涉及的每个步骤，包括试剂中各个成分的剂量、制造商和批号等。
07清晰和诚实
文章材料方法部分应该对实验过程的每一步都做到实事求是、一一交代，这样才有助于其他研究者按照你的实验流程获得一致的实验结果，增强文章数据的准确性和实验的可靠性。一般建议在此部分的撰写中，如果有不想写的内容大家可以少写，或者写的不是很详细，但是写下来的一定是非常正确的实验方法。
08方法描述要有的放矢
描述中应给出足够的细节信息以便让同行能够重复实验，避免混入有关结果或发现方面的内容。必要时，应该完整地描述选择某种特定方法的理由。如果方法新颖、且不曾发表过， 应提供所有必需的细节。
如果所采用的方法已经公开报道过，引用相关的文献即可(如果报道该方法期刊的影响力很有限, 可稍加详细地描述）。比如完全采纳了一种以前发表过的方法，在材料与方法的写作中，一笔带过即可。在写作时就直接写：XXX activity was detected according to the previous method (Tom et al, the journal of xxx, 2015)；
如果对已有方法进行了新的或实质性的改进，就要清楚地说明改进的理由。此时可以这样写作：XXX activity was detected according to the previous method (Tom et al, the journal of xxx, 2015) with slight modification. Briefly, xxx(这里简述你的方法并写出其中特别的部分即可)。或者可以这样写：In this report, a modified protocol based on the method reported by Tom et al was used. Briefly, xxx.
而在数据统计分析方法的描述过程中，如果是普通的统计方法则无需评论或解释；如果是比较先进的或不常见的统计方法则需要适当引用文献和/或对其进行适当的解释。
参考文献：How to Write a Flawless Methodology Section
来源于生活的治疗策略，发顶刊也不是那么难