证据及其质量是实践循证医学的关键。高质量证据因采用了足够防止偏倚的措施,保证了结果的真实性。研究的真实性从两个方面考虑:是否提出了正确的研究问题以及是否正确回答了所提出的问题。是否正确回答了所提出的问题即是指是否通过各种方法减少了偏倚,常称作“内部真实性”,也是文章所描述的真实性。内部真实性的评价通常描述为“方法学质量评价”或者“质量评价”
偏倚风险
偏倚是研究结果或统计推断中的一种系统误差,或与真实值的偏差。偏倚有一定方向性,不同偏倚可导致低估或高估干预措施的真实效应。
标准的“偏倚风险”表包括分配序列产生、分配方案隐藏、盲法、结果数据不完整、选择性报告结果和“其他问题”。对于每个条目,偏倚风险表都提供了关于研究中发生情况报道的描述和对防止偏倚的主观判断的描述(“是”用来表示偏倚风险低,“否”表示偏倚风险高,其他用“不清楚”表示)。
方法和潜在的偏倚源
不同的研究方法对结果产生不同的偏倚从而影响研究结局。研究设计的基本特征应收集在“纳入研究特征”表中,包括研究是否随机,研究是否为整群设计或交叉设计以及研究期限。如果系统评价包括非随机研究,应当描述研究的相应特征。
方法学质量评价
方法学质量评价广泛用于系统评价方法中对纳入研究进行严格评估。这个术语揭示研究者以可能的最高标准实施研究的程度。
质量量表和Cochrane系统评价
Cochrane系统评价中,不提倡使用量表评估偏倚风险或研究质量。虽然该方法简单易行,但不被实证证据支持。量表评估的真实性并不可靠,而且对系统评价证据使用者而言也不透明。使用简单并可以详尽报告的方法评估真实性更易于接受(即每个试验在每个标准上是如何判断的)。
Cochrane协作网偏倚风险评估工具
选择性偏倚
实施偏倚
对受试者、试验人员实施盲法(需对各项主要结局或结局的种类分别评估)。判断依据是描述所有对受试者和试验人员施盲的方法。提供所有与盲法是否有效相关的信息。这是由于研究中干预措施的分配情况被受试者及试验人员知晓导致的实施偏倚。
测量偏倚
对结局评估员施盲(需对各项主要结局或结局的种类分别评估)。判断依据是描述所有对结局评估员施盲的方法。提供所有与盲法是否有效相关的信息。这是由于干预措施的分配情况被结局评估者知晓导致的测量偏倚。
随访偏倚
结果数据不完整(需对各项主要结局或结局的种类分别评估)。判断标准是描述每个主要结局指标结果数据的完整性,包括失访、排除分析的数据。明确是否报告失访和排除分析数据的情况,每个干预组的人数(与分配入组时的人数比较),是否报告失访与排除的原因,以及系统评价员再纳入分析的数据。这是由于不完整结果数据的数量、种类及处理导致的随访偏倚。
报告偏倚
选择性报告结果。判断标准是阐明系统评价员如何检查可能发生的选择性结果报告,发现了什么。这是由于选择性报告结果导致的报告偏倚。
其他偏倚
偏倚的其他来源。判断标准是工具中没提到的与偏倚有重要关联的情况,如果系统评价的计划书中有预先设定的问题或条目,需一一回答。这是由于其他引起偏倚风险的因素。
质量评价可采用的工具与构架
有超过100种的工具和构架可用于定性评价研究质量,它们主要反映在对随机对照试验和其他形式定量研究的方法学质量评价上。但是,重点是要认识到关于“质量”的问题和定性研究的内容是不同的。以形成'纳入排除'决定固定清单所呈现的正式的证据评价程序和标准可能对定性研究是不适用的。相反,这样的工具作为探索和解释定性研究一部分可能是最合适的。Dixon-Woods等人比较了3种结构化评价方法发现:结构化评价方法无法对一篇系统评价是否需要纳入定性研究做出很一致的判断。
如果作者决定将质量评价作为系统评价的一个步骤,那么他们需要使用那些具体方法的框架,如EPPI (Evidence for Policy and Practice Information) 、JBI (Joanna Briggs Institute) 等。或者,他们也可以选用已经出版的定性评价的工具,框架或清单。
较为流行的系统评价方法学质量的评价工具
OQAQ量表
OQAQ工具(Oxman-Guyatt Overview Quality Assessment Questionnaire)是用于评价系统评价/Meta分析的常用工具,开发较早,使用时间最长,也最广泛。共有9个方面10个条目的评价内容。OQAQ不涉及发表质量和研究的重要性,主要针对研究过程中容易产生偏移的几个关键环节进行评估。
1、是否报告资料收集方法?
2、检索策略是否全面?
3、是否报告纳入和排除标准?
4、如何避免资料选择偏倚?
5、是否报告对纳入研究进行真实性评价的标准?
6、对纳入研究的质量是否全面、恰当?
7、是否报告数据合并方法?
8、数据合并是否合适?
9、评价者结论是否基于研究的数据和具体情况?
10、你认为此系统评价质量如何?
SQAC清单
SQAC清单(Sack's Quality Assessment Checklist)产生也比较早。主要包括6个方面:研究设计、可合并性、偏倚控制、统计分析、敏感性分析和结果应用。SQAC清单不仅包括方法学质量评价内容,也有一些适用性评价内容,不易把握,耗费时间较长。
1、研究设计包括研究计划书、文献检索、列出要进行分析的研究、排除文献记录、研究中治疗的分配方案、患者特征范围、治疗范围。
2、数据可合并性包括数据合并的条件、异质性检验和模型的选择
3、偏倚控制包括选择性偏倚、数据提取偏倚、不同评价员间的一致性检验和资助来源
4、统计分析包括统计方法、统计误差、可信区间和亚组分析
5、敏感性分析包括质量评价、改变分析方法、发表偏倚
6、结果应用包括结论和经济性分析
CASP条目
CASP条目(Critical Appraisal Skills Programme)是英国牛津大学公共卫生研究组和北泰晤士评估研究组共同开发的。条目既包括方法学质量的内容,也包含一些证据重要性、适用性的评价内容。
1、是否提出了清晰明了的临床问题?
2、是否纳入准确合适的研究?
3、是否尽可能腱索所有有关文献?
4、是否评价纳入研究的质量?
5、如果研究结果已经合成,是否有足够理由这样做?
6、主要结果的描述?
7、这些结果的准确性?
8、研究结果能否应用于自己的患者?
9、是否已经考虑到所有重要结局?
10、由于考虑到证据的实用性,是否要进行决策和实践的相应变化或调整?