信度是指测验结果的一致性、稳定性及可靠性,一般多以内部一致性来加以表示该测验信度的高低。信度系数愈高即表示该测验的结果愈一致、稳定与可靠。系统误差对信度没什么影响,因为系统误差总是以相同的方式影响测量值的,因此不会造成不一致性。反之,随机误差可能导致不一致性,从而降低信度。
定义
信度(reliability)即可靠性,它指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度。从另一方面来说,信度就是指测量数据的可靠程度。
举例而言,对于“图书馆利用情况及满意度调查问卷”的第一部分第1题,若对同一个人相隔3天,问同一个问题,若第一次回答,被调查者选择A、第二次回答选择C、第三次回答选择D,则说明对于该问题调查结果的信度低,因为调查结果的差异较大。若三次都选择相同的答案或者差异较小的答案,则在排除系统误差的条件下,说明调查结果的信度较高。
公式
若用 表示真实值, 表示偏差即系统误差, 表示测量的随机误差, 表示测量结果,则有:
在上述分解式中, 是一个抽象的变量,是潜在的需要估计的值。系统误差 是可通过采用一定的手段避免或减少的误差,而随机误差 是无法避免的。
若测量得到的结果 与真实值 一致或者差异很小,则称测量是“可靠的”或者是“可信的”;否则称测量在某种程度上是“不可靠的”或者“不可信的”。
由于系统误差 很难分解,而且在问卷的设计上要求尽量避免系统误差,所以通常在信度分析中仅考虑随机误差。即在下式的基础上,分析问卷的信度:
信度系数
概述
对于随机误差 ,一般假定其期望值(平均值)为 0,且与真实值相独立,在此假定下,有:
由于 与 相互独立,所以有下式:
可见测量值的方差 等于真实值的方差 与误差方差 之和,并且 与 的相对大小可用于描述调查结果的可信度。 越大说明测量的随机误差越大,测量的可信度越低。我们用信度系数 来表示信度的大小。
定义
问卷的信度系数 定义为:真实值的方差 在测量值方差 中所占的比例,即
或定义为:
越大,表明问卷调查的可信程度越大。
缺点
从上述信度的计算公式看,由于涉及误差平方和,所以,需要对相同的调查对象,通过多次重复测量,在估计 、 取值的基础上,才能得到信度估计。但是多次重测会带来记忆效应及联系效应,而且会造成被调查者的反感,所以在调查研究中实现较为困难。
信度的估计
在对问卷的信度进行估计之前,需要通过采用适当的量表(如 Likert 量表)将问卷中的各类主观的或客观的备选答案转化为数字形式,然后在此基础上进行问卷评分(包括单项评分、相关题目分组评分和总评分等)。
信度分析的常用具体方法有重测信度、复本信度、分半信度、 信度系数法四种(后两种可归为内部一致性信度)。
重测信度
重测信度(test-retest reliability)也称为再测信度,是对同一组被调查人员采用相同的调查问卷,在不同的时间点先后调查两次,两次调查结果之间的差异程度。重测信度反映了随机误差的影响。
重测信度所考察的误差来源是时间的变化所带来的随机影响。在评估重测信度时,必须注意重测间隔的时间。对于人格测验,重测间隔在两周到6个月之间比较合适。
在进行重测信度的评估时,还应注意以下两个重要问题:⑴重测信度一般只反映由随机因素导致的变化,而不反映被试行为的长久变化。⑵不同的行为受随机误差影响不同。
缺点:重测信度有个两难的矛盾。缩短两次测试的时间间隔,被测试者较容易回忆出测试的题目;而延长两次测试的时间间隔,则被测试者较容易受外部影响而变化。
复本信度
复本信度(Parallel-forms Reliability)又称为等值性系数,是等值性信度(Equivalence Reliability)的一种,指问卷调查结果相对另一个非常相同的问卷调查结果的变异程度,是对同一组被调查人员运用两份内容等价但题目不同的问卷进行调查,然后比较两组数据的相关程度。
它比重测信度工作量大,因为,同一个测量工具(调查问卷、心理量表等)要构建两个等值的复本,两个复本要包含相同的数量、类型、内容、难度的题目。评估复本信度要用两个复本对同一群受试者进行测试,再估算两种复本测量分数的相关系数,相关系数越大,说明两个复本构成带来的变异越小,这与再测稳定性信度中考虑时间产生的变异不同,也就是说,相关系数反应的是测量分数的等值性程度,故复本信度又称作等值性信度。
复本信度的主要优点在于:⑴能够避免重测信度的一些问题,如记忆效果、练习效应等;⑵适用于进行长期追踪研究或调查某些干涉变量对测验成绩影响;⑶减少了辅导或作弊的可能性。☆复本信度的局限性在于:⑴如果测量的行为易受练习的影响,则复本信度只能减少而不能消除这种影响;⑵有些测验的性质会由于重复而发生改变;⑶有些测验很难找到合适的复本。
内部一致性信度
主要反映的是测验内部题目之间的关系,考察测验的各个题目是否测量了相同的内容或特质。内部一致性信度又分为分半信度和同质性信度。
1、分半信度(split-half reliability) 指一项调查中,调查问卷的两半题目的调查结果的变异程度。是通过将测验分成两半,计算这两半测验之间的相关性而获得的信度系数。测验愈长,信度系数愈高。修正公式是斯皮尔曼-布朗公式。斯皮尔曼-布朗公式为校正分半信度的经验公式(rtt=2rhh/(1+rhh) 一般来说,如果将测试分为均匀两半的话分半系数rtt为0.5)
它的假设是两半测验分数的变异数相等。当假设不成立时,可以采用弗朗那根(Flanagan)公式或卢伦(kulon)公式之一,直接求得测验的信度系数。
2、同质性信度是指测验内部的各题目在多大程度上考察了同一内容。同质性信度低时,即使各个测试题看起来似乎是测量同一特质,但测验实际上是异质的,即测验测量了不止一种特质。同质性分析与项目分析中的内部一致性分析相类似。几个计算同质性信度的公式:(1)库德-理查逊公式(2)克伦巴赫α系数。对于一些复杂的、异质的心理学变量,采用单一的同质性测验是不行的,因而常常采用若干个相对异质的分测验。
评分者信度
是指不同评分者对同样对象进行评定时的一致性。最简单的估计方法就是随机抽取若干份答卷,由两个独立的评分者打分,再求每份答卷两个评判分数的相关系数。这种相关系数的计算可以用积差相关方法,也可以采用斯皮尔曼等级相关方法。
信度和效度的关系
问卷的信度与效度之间既有明显的区别,又存在着相互联系、相互制约的关系。信度主要回答测量结果的一致性、稳定性和可靠性问题;效度主要回答测量结果的有效性和正确性问题。
效度和信度的关系可以用测量值的构成公式O=T S R来理解。如果测量是完全有效的,即0=T,S=0,R=0,此时测量必然是完全可信的,若
量表的信度不足,它也不可能完全有效,因为有O=T R。如果量表是完全可信的,可以达到完全有效,也可能达不到,因为有可能存在导致误差,虽然缺乏信度必然缺乏效度,但信度的大小并不能体现效度的大小。信度是效度的必要条件,但不是充分条件。从理论的角度来看,量应具有足够的效度和信度;从实践的观点来看,一个好的量表还应该具有实用性。实用性指量表的经济性、便利性和可解释性。
一般来说,信度是效度的必要条件,也就是说,效度都必须建立在信度的基础上;但是没有效度的测量,即使它的信度再高,这样的测量也是没有意义的。信度和效度的关系有如下几种类型:
①可信且有效
这种问卷准确地反映被调查人员的真实态度,问卷中的题目是和调查目标紧密关联的。这种情况如图8-8(a)所示,图中(x,y)所在的实心点表示要测量的现象的真实情况,其余点表示经过调查所得得测量结果。若调查结果能真实地反映所调查的对象,测量的误差较小,则说明问卷调查的结果是可信而且有效的。
②可信但无效
这种问卷调查结果虽然能准确地反映被调查人员的真实态度,但问卷中题目与真实的调查目的的关联程度较弱,与调查的目标不相一致。如图8-8(b)所示。这种情况表明,虽然调查中所得的结果是可信的,但可能在某些环节上出了差错,例如问卷中题目的设计使得所有的被调查人员都出现了理解的偏差,从而出现了系统性的偏差。
③不可信亦无效
在这种情况下,统计调查的结果分布较为分散,是难以从调查问卷中得出有效结果的,这是测量中应避免的类型。如图8-8(c)所示。