跟我一起做学习OOS调查
一、OOS简要历史
二、相关法规要求
² 2010 GMP
² 美国联邦法规part 211
² FDA法规要求
² WHO 法规要求
² MHRA法规要求
三、OOS调查的相关定义
四、职责
五、OOS调查流程简单介绍
l OOS调查流程图
l 简单流程介绍
六、FDA关于OOS
l FDA483中有关的叙述
l FDA的关注点
l FDA的期望
l 具体案例
七、OOS的基本原则
l 复测
l 重新取样
l 平均值
八、其它相关知识
l 无效的OOS
l 最多复验次数的确定
一、OOS简要历史
由于极端统计变异的结果, 符合规格标准两倍标准偏差范围内的生产和测试活动将随机产生5%不合格结果。建立在合理统计学基础上的技术方法被用于处理超标测试结果。然而，对规则通融与降低不合格率的诱惑导致滥用。最常见是反复测试样品，直到通过的结果产生。
1993 年，巴尔实验室输掉了涉及该问题和相关其他事项的诉讼，诉讼本身以及法庭(新泽西地区法院)判决导致了FDA规则新的解释，包括要求必须首先进行实验室调查后才能进行重新取样测试。这些规则以及其它已经整合了的 FDA 指南文件反映了对重要的统计学原则的误解。
注：当时cGMP法规对于如何处理OOS结果没有精确的描述，Wolin法官作出了如何处理OOS的判断，什么是可接受的和什么是不可接受的。
更大的问题是，很多厂家已经不正确应用重新检测程序和平均值来处理超标。这种对统计方法错误应用，在一些情况下可能是缺乏足够的数学知识的培训, 而另一些情况下可能是不道德地试图避免销毁实际不合格的产品。“检测到符合要求”最明显的统计方法滥用反复测试一个批次直到一个样品的结果落在规格标准范围内，然后基于这一个通过的结果接受整个批次。这种方法被称为“试验法规遵从性”。
1993 年美国政府与巴尔实验室之间的诉讼 2 后，这种超标结果方式成为一个主要问题。超乎寻常司法结论和后续的美国食品和药物管理局(FDA)的措施让一个很小的 QC 问题变成了一个重大的 GMP 话题。
Barr 判决批出结果调查是重点 ，结果调查包括：
l 立即进行
l 及时跟进
l 适当的解决措施
l 有文件记录
二、相关法规要求
2010 GMP
l 第十章质量控制与质量保证 第一节质量控制实验室管理
l 第二百二十四条 质量控制实验室应当建立检验结果超标调查的操作规程.任何检验结果超标都必须按照操作规程进行完整的调查, 并有相应的记录.
美国联邦法规part 211
211.192
l 一批或其中的部分不能符合其标准中的任何项目，这必须得到彻底的调查…
l 假如同一产品的其它批号和其它产品可能与这些结果有关，调查必须扩展到这些产品
…
211.194
l 调查的书面记录应包括结论和跟进措施…
l 在每一检测过程中的所有数据的完整记录…
l 在所有稳定性研究中的数据应得到完整记录…
FDA 法规要求
实验室超标结果调查
详述了实验室调查的流程,步骤,责任等细节
链接:
http://www.fda.gov/downloads/Drugs/GuidanceComplianceRegulatoryInformation/Guidances/ucm070287.pdf
WHO 法规要求
要求:
1.质量部要有处理OOS结果的规程
2.实验室要建立执行调查异常数据和OOS结果的SOP
链接:
http://apps.who.int/prequal/info_general/documents/trs957/gpcl_trs957_annex1.pdf
实验室超标结果调查—MHRA法规要求
MHRA的网站上列出了进行OOS调查的20个问题和解释,其中包括OOS调查的指导原则.
链接:
http://www.mhra.org.uk/FAQ.html
链接:
http://www.mhra.gov.uk/Howweregulate/Medicines/Inspectionandstandards/GoodManufacturingPractice/FAQ/OOSFAQs/index.htm
三、OOS调查的相关定义
OOS(超标): 结果超出设定质量标准。包括注册标准以及企业内控标准. 如果对于产品有多个接受标准，结果的评判采用严格的标准执行。
注：
OOS结果引起的原因：
由多个环节引起，比如实验室检验环节、样品及取样过程、制造过程等。
OOS的检测结果包括以下情况：
l 指检验结果超出了标准规定的范围；
l 对于需要平行测试、最后结果通过平均获得的检测项目，当其中单次检测有不符合标准要求，而其平均结果为合格时，亦应视为超标。
OOE(超出期望)&OOT(超出趋势): 结果虽在质量标准之内，但是仍然比较反常，与预期结果或者长时期观察到的趋势不一致。(OOE&OOT的限度由企业根据产品情况制定) （明显偏离了历史检测结查）
注：OOT是用统计技术进行趋势分析，以免在毫无先兆的情况下发生偏差，是防止偏差产生的有效手段。
AD(异常数据): 指数据本身可疑或来自异常测试过程的数据或事件。
四、职责
首次检验人员
l 在丢弃样品制备液和标准制备液之前，检验员应确定数据是否符合标准。当发现OOS检测结果，及时保留并隔离原检测样品、配制的溶液和使用的设备，及时填写OOS调查记录表并报告科室负责人。
l 如果错误是明显的，如：样品溶液有洒出或样品成分的未完全转移，检验员应该立即记录所发生的情况。
检验复核人员
l 与检验员讨论检测方法；确认检验员知道并执行了正确的程序。检查分析的原始数据，包括色谱和光谱，并识别出反常或可疑的信息；确认仪器性能 ；确定使用了合适的参照标准品、溶媒、试剂和其它溶液，并且它们符合质量控制标准。
l 评估检验方法的执行情况，提交调查结果和调查报告。
科室负责人
l 接受关于调查的汇报，负责协调、指导实验室调查，审核实验室调查报告。
l 客观及时的进行OOS评估。可以指派其他检验人员或申请外科室人员重新检验。
l 负责做好查出OOS原因后的纠正预防工作，并签署审核、处理意见。
五、OOS调查流程简单介绍
一、OOS调查流程图
注：CAPA：纠正和预防措施
二、简单流程介绍
1、OOS/OOT结果的报告及调查启动
l 检验员对每一个分析结果都应依照质量标准和历史趋势进行评判，以鉴定该结果的正确性，是否属于异常结果。
l 如发现异常结果，应如实记录，并立即向质检部部长报告，同时保留所有的实验用器具及样品溶液，直至实验室调查结束，未经允许，不得擅自进行复验。
l 如出现忽然断电等不可预计因素，而造成错误，检验员应该立即停止实验并记录所发生的情况，不必进行结果调查，可重新实验或计算。检验员不应该有意的继续这无效的分析。
l 由质检部部长安排按所附调查表内容进行实验室内部分析调查，同时由质检部长将该异常结果反馈QA负责人，启动Ia阶段调查。
2、阶段I调查
证明是否是因明显分析错误引发的异常结果，评估结果，并有效地执行纠正与预防措施。
阶段Ia调查
阶段Ia调查是为了确定是否由于外部环境造成了明显的错误，例如电源故障或分析员在产生数据之前已发现错误，如溢漏样品，将无需进行阶段Ib的调查。
l 计算错误
l 停电
l 设备故障
l 测试错误
l 不正确的仪器参数
阶段Ib调查
如果没有错误被记录，上述条件都没有发生，应开展步骤1b调查，阶段1b调查由分析人及主管使用实验室调查清单开展调差。分析人及主管调查应仅限于数据、仪器、分析过程回顾。
检查清单不可能非常详尽，但是应该是一个良好的指南，覆盖的相关方面
l 测试方法
l 正确的样品
l 检品的保存
l 取样程序
l 样品的污染
l 仪器的校准状态
l 仪器的维保
l 合适的标准品和对照品
l 系统的适应性
l 玻璃器皿和量器
l 试剂、培养基等物料
l 外观状态
l 人员培训
l 原始数据
l 分析方法
l 以往类似问题
等等，不详细列举
注：
l 阶段1b调查可分为基本项目调查，然后可以分别就一般化学检验的调查、
HPLC、GC、红外、微生物限度等就各个检测的特点分别制做检查列表，仔细调查。
l 进厂原料经I阶段调查未发现实验室原因，原则上可直接判定为不合格。
3、阶段II调查
进一步调查异常结果是否为实验室原因或者是产品缺陷等因素，评估结果，进行有效地纠正与预防措施，并监督其执行情况。
在I阶段的基础上扩大调查范围，进行全面调查。开展化验室失败调查时要按照批准的方案展开调查，很大程度上是假设试验，以确定OOS的明确原因，在开展进一步实验之前，生产调查应启动，开展生产偏差调查，如果经调查，生产过程出现异常，直接报告OOS结果，以确定是否根本原因是在生产上。
如果在生产调查或者分析失败调查中未能找到确切原因解释OOS结果，应考虑复检，调查的一部分可能包括一份原始样品的复检。应给予科学全面的原则制定最少复检次数，并在程序中文件规定。复检的决定应当给予全面科学的判断。在复检开始前试验计划必须的到批准。
注：
l 开展的试验能够帮助证实或者缩小根本原因的可能范围，也就是说，可能发生的事情能够被试验得出。例如：可能包括更多的试验关于样品过滤、超声、提取；和潜在的设备故障等等。可以进行多个假设。
l 如未发现明确的原因，应开始假设试验作为阶段Ia的一部分，持续到阶段II。调查试验不得用于替换原始怀疑的分析结果，它仅用于证实或缩小可能原因的范围。
l 阶段II调查全面调查应包括取样调查，样品取样程序是否恰当，容器有没有破损或者有没有污染的迹象等，这部分一般由QA单独进行调查，在流程图里没体现出来。
l 科学的复测次数至少要5次以上，同时每个检测结果和报告标准偏差，单个检测结果必须符合质量标准。
4、阶段III调查
步骤lll调查应当检查完成的生产调查，及与可疑结果关联的实验室调查，和/或与结果关联的为寻找可能原因而开展的方法验证。要求为：
l 所有的结果必须得到评估后才能结束调查。
l 调查报告应包含调查执行过程的概要，以及详细的结论。
l 该批产品质量必须给予确定，并制定处理措施。
l 一旦该批产品判定不合格，没有限制开展进一步的试验以确定失败原因，以便执行纠正措施。
l OOS结果对其他批次、进行中的稳定性研究的影响，应有QC和QA确定验证过程和试验程序，并在结论中书面说明，并附适当的CAPA活动。
注：
l 不合格的决定不能因为进一步的试验结果而得到逆转。
六、FDA关于OOS
FDA所发出的警告信中一个重要的主题就是OOS的调查不够，没有进行调查或跟进措施不够。
一、FDA483中有关的叙述
1、“OOS结果的实验室调查”, SOP# xxx 没有规定复验的允许次数.
对于xxxx批, 产品由三个不同的分析员进行了6次复验
2、在调查过程中，发现所使用的分析方法不具有稳定性指示性，因此分析结果是无效的
3、进行片剂的有关物质分析时反复测试，仅报告合格的使用新样品检测的数据出具分析证书（COA）。
4、没有对最初的OOS数据进行调查，仅使用重复检测的合格数据放行了某API，并用于制剂生产。
5、进行了回顾性调查，假设OOS的根源分别是样品稀释错误、HPLC自动进样器注入误差、使用了污染小瓶等。然而，你们的回复是不充足的，理由是你们的回顾调查缺少原始数据支持或没有科学证据来支持你们的假设。
6、OOS调查和偏差调查所采取的纠正行动没有覆盖到相关的所有批次，你们没有发现真正的根源。因此，你们采取的行动不能防止问题的再次发生。
7、你们公司没有报告和调查OOS结果。而是随后第二天使用一组新样品溶液复测，将不合格数据丢弃，用合格数据出具报告。
二、FDA 的关注点
l 对OOS结果的调查应按既定方案进行
l 特定调查步骤的总结：
l 其它相关批的评估
l 结论和跟进措施
l 防止同样问题再次发生的措施
l 30个工作日内进行调查
l 在复验前展开调查
l 良好的记录
l 坚实的科学基础
l 如果调查发现了一个原因，必须提出改正措施
三、FDA的期望
l 完整地、诚实地调查OOS结果
l 采用科学的原则评估
l 吸取以往的经验
l 解决问题的永久措施
四、具体案例
今年FDA给印度制药公司MYLAN的警告信中提及OOS
Missing OOS Trending leads to FDA Warning Letter
缺少OOS趋势分析导致FDA警告信
This FDA Warning Letter issued to the Indian pharmaceutical manufacturer Mylan Laboratories Ltd.on April 3rd, 2017 is based on an FDA inspection that took place in September 2016. The FDA's complaints wereas follows:
2017年4月3日签发给印度制药商MYLAN的FDA警告信是基于2016年9月FDA对其工厂的检查。FDA不满意的问题如下：
In the first sixmonths of 2016, Mylan Laboratories invalidated 101 of 139 of its initial OOS assay results (approx. 72%) without sufficient root cause analysis for those OOSresults. As an example, thesix-month assay result in astability test was mentioned. Theoriginal, failing result was invalidated without appropriate investigation andreplaced by fitting results from the re-testing.
在2016年的前6个月中，MYLAN宣布了139例其初始OOS含量结果中的101个无效（约占72%），而没有对这些OOS结果做出充分的根本原因分析。例如，一个稳定性试验中6个月的含量检测，原始结果不合格，没有进行适当的调查就宣布结果无效，然后用复测的合格结果替代了。
Now, a trend analysis of all OOS results is expectedof Mylan Laboratories,regardless whether they are confirmed or initial OOS results. Mylan Laboratories has to provide the FDA with the following details for every OOSresult:
现在，FDA要求MYLAN对所有OOS结果进行趋势分析，不管这些结果是经过了确认还是初始的OOS结果。MYLAN必须向FDA提交每个OOS结果的详细内容：
name of the testedproduct,
受检产品的名称，
date of analysis,
分析日期，
type of analysis,
分析类型，
purpose of thetest,
检测目的，
initial result,
初始结果，
retest result,
复测结果，
unconfirme dassignable root cause for the OOS result.
OOS结果未确定的可归结根本原因。
Furthermore, the company's SOP for the handling of OOS results must be revised. In the future, ithas to be ensured by the SOP thatall OOS results are included in the trending.
另外，公司的OOS结果处理SOP必须进行修订。未来，SOP必须确保所有OOS结果都要放在趋势分析中。
For more details please see the complete Mylan Laboratories Ltd. FDA WarningLetter.
更详细信息参见FDA签发给MYLAN的完整警告信。
七、OOS的基本原则
一、复测
l 复测的原则
反复检测至合格是不可以的，复测时机适用于第1A和2阶段，只有当调查正在进行，可以对原样品进行额外的检测，这里应该包括假设检测和复测，复测必须按照既定的方案进行。
l 复测的形式
1、对初始样品进行复测
对相同的样品进行复测，重复处理过程（初始称量），但应由另一检验员来执行。
注：应重新配制标准溶液、流动相等试剂，仪器尽量采用初始检测仪器，用原方法重新测定，复测的次数
不能够无限地进行复测，复测的次数应是提前规定于测试方案中。
结果一：一旦OOS/OOT结果被证实，那么这一批次的产品须被判为缺陷产品。
结果二：如果OOS/OOT结果未被确认（不能重现），经过评估之后可以认为第一次的结果是无效的并由新的数据来取代。（这一点要非常慎重！）
注：但原结果仍需保留于检验记录中，复测结查以插页模式附于原始记录后，并注明相关信息。
2、对本批新样品进行检测（再取样）
只有在有适当理由时，才可进行再取样。
再取样和测试方案应提前得到批准。
l 复测样品的来源
l 检验原始样品，而不是不同的样品。
l 可以是来自于最初出现问题的同一样品的第二份样。
l 如果留下的原始样本数量不足以进行进一步的检验，那么获取一个重采样的过程必须讨论，并经批准。获取重采样的过程应该记在实验室调查中。
l 怎样做复测
1、按SOP进行
2、由另一名分析员进行
3、必须预先确定复验的次数
4、结果可以取代原先的结果
5、调查，原因不明确，进行复验，如果结果合格，这一批合格。
l 对复测数据进行处理
l 复测时每个样品的检验结果应分别评估.
l 只有在特殊情况下才可进行求平均值，如生物学检测时。
l 在特定情况下，应列出对平均值的相对标准偏差。
l 如果多次测定所获得的结果有符合标准的也有不符合标准的，一般不允许进行求平均值来处理数据。
l 异常值(outlier)的剔除必须有统计学的分析和相应的论证。(这一点使用时要非常慎重！）
二、重新取样
n 重新取样
重新取样指对已出现不合格结果的样品，按规定的取样规程，从同一批号样品中重新另取的第二组样品，供另外增加化验使用。目的是调查样品可能存在的问题。
注：取样时应有足够的量，万一出现OOS结果时以供附加的检验。
n 重新取样的依据
l 样品不具有代表性
l 样品配制差错
l 样品被全部消耗
注：只适用均一样品。
l 重新取样怎样做
l 应该要很少发生！
l 如果留下的原始样本数量不足以进行进一步的检验，那么获取一个重采样的过程必须讨论，并经批准。获取重采样的过程应该记在实验室调查中。
l 重采样应该用与最初样品相同的合格的方法操作。然而，如果调查确定初始取样方法是错误，应该发展、授权、记录一个新的准确的抽样方法。
l 它包括收集同一批次样品中的新样品。
l 当原始样品不具备该批次的代表性或者在制备中存在记录的/跟踪的实验室错误时，应该重采样。
l 证据表明样品被破坏或无效。
l 采取重新取样必须要有健全科学的理由。
存在争议：
如检验和复验均不合格，重新取样的结果不得作为依据
三、平均值
平均值的有效性取决于样品及其目的，在原始检测和OOS调查中，平均值可能会被正确使用，也可能会被误用。
使用平均值具有隐藏个别实验结果差异的缺点。为此，所有独立试验结果应作为独立值常规性报告。各试验结果的平均在试验方法中给予适当的说明，独立的平均值可作为最终实验结果报告。例如，在制剂含量均匀性试验中，应报告标准偏差（或相对标准偏差）及单个单位样品的试验结果。
以下几个方面需要给予重视：
l 在OOS调查过程中额外测试的情况下，对引发调查的原始试验结果的平均及在OOS调查过程中对增加的复检结果或再取样检验结果进行平均是不合适的，因为这样隐藏了单个结果的差异。
如：含量结果不得进行平均处理，否则单一数据的差异会被掩盖：
如： 89, 89,92 (平均=90)
l 微生物结果的平均是可以接受的，因为其固有的变异性
l 当检测用作检测生产过程的可变性时，平均值在一些情况下不能使用，如粉末混匀均匀性，制剂的含量均匀度。
八、其它相关知识
一、无效的OOS
FDA 在其质量量度质量修订草案中阐述了无效的OOS率量度。无效的OOS率的定义为：报告期内，批次放行检验和长期稳定性检验的OOS结果中，因检验过程中的过失而被判定无效的OOS结果，除以批次放行和长期稳定性检验的全部OOS结果。作为衡量实验室操作的稳定可靠性的指标, 无效的 OOS 率越高，意味着实验室操作的稳定性越差。
FDA检查印度2家制药商列举无效的OOS：1. 在2016年9月5日-14日检查了印度迈兰(Mylan) 制药有限公司 - 警告信列举139个OOS结果断定101个为无效OOS（约72%)。2. 在2017年3月27-4月7日检查了印度(Lupin) 制药有限公司 - 483 报告列举89个OOS结果断定67个为无效OOS（约75%)。FDA指出OOS 调查不彻底。通过重新检测判定初始的OOS结果无效, 而不是经科学评估或对制造过程的审查。注：
l 以上反映出了FDA的检查动向，FDA审查OOS时，还是比较关注出现的OOS数据的作废，很多出现OOS的原因很牵强，舍弃原始OOS数据的理由不够充分，所以在做OOS调查的人员，你们在判定原始的那个OOS数据异常的时候，要有足够的说服力。
l OOS无效的比重越来越多，检察官可能认为检验能力低才开的483。
l 其实无效OOS真的可以作为考评实验室能力的一条标准。
二、最多复验次数的确定
说法一：
按照美国 FDA 在超常检验调查指导内有明确的要求, “检验至合格”是不科学和不充许的。一个样品复验的最多次数应事先在SOP明确规定。复验次数不能根据检验结果调整。
那么应该如何合适的确定最多复验次数呢？通过统计学方法可以解决这个问题。
抽样或重复的试验中,常用到样本平均值的标准差
此公式在分析化学中的意义是测量结果的精密度与测量次数(n)密切相关。平均值的标准偏差与测量次数的平方根成反比。平均值的标准偏差随测量次数的增加而降低。平均值的标准偏差越小，测量的精密度越高。开始时， 随 n 减少很快，n>5 曲线变化较慢，而当n>10 时，曲线变化很小。
因此适当的复验次数范围是在 6 到 10 之间。
说法二：
还有一种说法是我们进行分析方法学验证，确定的次数可以做为参考。符合方法验证中的值（准确性、精密度、及中间精密度）。复检次数应在统计上有效，建议5,7或9次。