【每日一技】没有信度和效度,那还叫问卷吗?

01

引言

问卷调查法是研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、有效性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,信度和效度分析是问卷分析的第一步,如果问卷的信度和效度比较好,证明问卷的数据可靠性比较高,问卷数据内部一致性比较高,可以用来做后续的建模分析,相反,信度和效度如果不高,就需要重新设计问卷并发放问卷。

02

信度分析

1.信度分析——计算Cronbach’s alpha或α(克朗巴哈系数)

信度是指测量实验结果的一致性或可靠性或同质性,根据研究者关心的重点不同,可分为内在信度和外在信度。

(1)什么是信度?衡量方式?

信度即可靠度、一致性或者稳定性。

内在信度是指调查问卷中,一组问题是否测量同一概念,即这组问题之间一致性如何,常用分析方法有Cronbcah's和折半信度。

外在信度是指对于同一问卷不同时间对同一研究对象进行重复测量,其一致性程度,常用分析方法是重测信度,可以通过spss 完成。

目前最常用的衡量是克朗巴哈系数,一般情况下我们主要考虑量表的内在信度——项目之间是否具有较高的内在一致性。

通常认为,信度系数应该在0-1之间,

如果量表的信度系数在0.9以上,表示量表的信度很好;

如果量表的信度系数在0.8-0.9之间,表示量表的信度可以接受;

如果量表的信度系数在0.7-0.8之间,表示量表需要修订;

如果量表的信度系数在 0.7下,表示量表需要抛弃。

Cronbach’s alpha测量的具体步骤?

第一步,变量类型是数字。

(2)第二步,在SPSS工具栏中分析——标度——可靠性分析。

这里要对EU这个变量做信度分析,只要把它的四个题项EU1、EU2、EU3、EU4放进项就可以,点击确定,结果出来。

如上图,EU的Cronbach’s α系数是0.860,信度可以接受。

要做问卷整体的信度分析,点击分析——标度——可靠性分析,把所有项选中,确定就可以。

信度分析相对而言非常简单,大部分都能通过。

只要你的样本数量够大,题项数最少不少于三个,基本可以在0.7以上。

03

效度分析

效度检验即检验问卷有效性,通俗来说,就是要确定设计的题项是否合理,能否有效反应研究人员的研究目标。

需要注意的是,问卷中会有多种类型的问题,比如单选题、多选题、填空题等。而效度分析仅仅针对量表数据,非量表题目比如多选,单选性别之类的题目不能进行效度分析。

效度分析的目的在于判断研究题是否可以有效地测量研究人员需要测量的变量,通俗来讲就是测量问卷题是否准确有效。

当信度分析不达标时,效度分析必然也不能达标。

效度分析常见的有内容效度分析、结构效度分析,研究人员通过内容效度分析和结构效度分析这两方面对问卷进行效度分析,如下图所示。

(1)内容效度分析

内容效度分析是指问卷题对相关概念测量的适用性情况,即题设计的合理是否合理。内容效度分析从两个方面进行来表明。

第一,专家判断

专家具有权威性,因此如果专家对问卷进行判断并得出肯定,那么问卷具有有效性。专家是指行业内专家或参考量表、权威来源等等。

第二,问卷预测试

对预测试数据进行分析,并结合分析结论对问题或选项进行修正,此处理过程可用于论证问卷设计的有效性。

在具体分析过程中,通常内容效度分析主要是在研究题的设计是否有参考量表,是否经过专家、老师的认可,是否得到同专业相关人员的认可,以及研究人员是否对问卷进行修正工作。

内容效度分析不必使用SPSS等软件,直接进行文字描述就可以。在问卷研究过程中,一般需要对内容效度分析表示说明。

(2)结构效度分析

结构效度分析指测量题与测量变量之间的对应关系。

其测量方法有两种,一种是探索性因子分析,另一种是验证性因子分析。

探索性因子分析是当前使用最广泛一种结构效度分析测量方法,此方法可以通过SPSS软件实现。其实现方法与探索性因子分析的探索因子操作步骤相似,只是在进行具体文字分析时会侧重于对效度的说明。

探索性因子分析进行结构效度分析测量时,应该以量表为准,对变量和量表分别进行分析(如自变量a、因变量b进行),而不能将所有变量和量表放在一起进行探索性因子分析。

使用探索性因子分析进行结构效度分析测量时,首先需要对KMO值进行说明(是直接对每个变量进行探索性因子分析,通过KMO值进行判断,不需要判断题与因子对应关系等等情况,此种判断方法使用较少),KMO值指标的常见标准是大于0.6;需要详细说明探索的因子数量、每个因子的方差解释率、总共方差解释率值,详细描述各个题与因子的对应关系,如果对应关系与预期相符(符合专业知识预期),那么说明问卷有着良好的结构效度分析。

在使用探索性因子分析进行效度分析时,删除对应关系与预期不一致的题或因子载荷系数值较低的题。

验证性因子分析需要借助SPSS、AMOS或LISREL等软件进行测量,其对问卷量表质量、样本量和样本质量均有着较高的要求。如果问卷量表质量并非很高或样本量较少(低于200个),那么验证性因子分析进行的结构效度分析测量就很难达标。

确定问卷具有良好的效度是问卷研究的必要前提,但同时想要得到良好的效度并不容易。

本公众号欢迎大家转载原创文章,不过如果转载本公众号原创文章,即表示同意以后可以相互转载。如果要转载本公众号转载的文章,请联系原公众号或原作者。另外,本公号转载、编辑的文章,编辑后增加的插图均来自于互联网,对文中观点保持中立,对所包含内容的准确性、可靠性或者完整性不提供任何明示或暗示的保证,不对文章观点负责,仅作分享之用,文章版权及插图属于原作者。如果分享内容侵犯您的版权或者非授权发布,请及时与我们联系,我们会及时审核处理。

(0)

相关推荐

  • 超级糟糕的问卷效度,要如何调整?

    做量表研究的人,或多或少都曾因为量表效度不达标困扰过,尤其在很多研究领域并没有特别权威的经典量表可以引用.使用自制的量表来研究,容易信效度不达标,那么如果遇到效度非常糟糕的情况时应该怎么办呢? 一.效 ...

  • 人类征服论文现场实录

    搞定毕业论文分析有多难,来看看网友们的吐槽: 看着网友们叫苦连天,如果要问小编论文分析到底有多难?我想其实并不难. 这篇文章就会告诉你,掌握分析套路其实也可以很容易. 论文问卷设计中多会使用量表数据, ...

  • 探索性因子和验证性因子分析有什么区别?

    关于效度分析我们已经讲过不少次,从信效度的区分.效度的分类.以及效度指标解读的角度对效度分析做了详细介绍. 不过最近依然收到不少人对效度分析的疑问,其中,一个常见的提问:测量效度时用探索性因子和验证性 ...

  • 【干货分享】效度分析的几点思考

    效度分析在学术研究中非常常见,其用于分析'测量项是否真实有效的测量自己希望测量的变量',效度分析的研究方式有多种,通常包括内容效度,结构效度(探索性因子分析法)和区分效度或聚合效度(验证性因子分析法) ...

  • 问卷调查常用的SPSS数据分析方法(上篇)

    在介绍了问卷设计应注意的问题.量表类问卷及非量表类问卷题项设计后,接下来面临的将是问卷数据分析问题,有很多非统计专业的同学也都在问这个问题,爱马君将结合实例详细讲解问卷数据常用的SPSS统计分析方法, ...

  • 如何设计一份靠谱的科研量表?

    via:SPSS科研统计公号 问卷作为收集资料与数据的重要研究工具,已经越来越受到社会学.政治学.教育学.心理学.管理学等学科研究人员的重视与青睐,加之多元统计方法的完善,可以说问卷为这些学科的研究从 ...

  • 【每日一技】你问我答:定性研究和定量研究中研究假设的差异是什么?

    问: 什么是研究假设?定性研究和定量研究中的假设有何不同? 无论是定性或定量研究.探索性或解释性研究,研究假设都是文章中相当重要的一部份.一篇研究由研究问题来引导,而研究假设则提供试验性答案,说明研究 ...

  • 成绩统计与分析(三):测验的信度、效度、难度、区分度

           测验的信度.效度.难度.区分度是用来衡量测量质量的,简单地说就是衡量测验的编制水平.因为这些内容涉及的算法过于复杂不易实现,这里给大家介绍下相关基础理论就好.下面例子中使用的数据表结构如 ...

  • 【每日一技】如何写一篇让读者欲罢不能的引言

    引言用于交代研究主题的来龙去脉.解决该主题的重要性和全文的安排,用于留住读者阅读全文.写得不好的引言可能会吓跑读者.微软365团队创作的关于如何写引言的指南(原文标题为"如何给一篇研究论文写 ...

  • 不懂“信度”和“效度”?吃了这“2斤白糖”,就明白了!

    微友提问 凌哥,您上次的讲座中,讲到了测试的信度和效度,用"2斤白糖"做例子,我看不懂,又好奇. 您空的时候能不能讲解一下? 谢谢! 您好! 信度的英文是reliability(可 ...

  • 每日一技 今日推荐:这是一款特别棒的写作...

    每日一技 今日推荐:这是一款特别棒的写作软件,叫做「秘塔写作猫」.它能够根据人工智能智能识别错别字.语义.标点.语序语法等问题.如果是长期写作的小伙伴们可以使用它来检测,省去了很多时间检查. 它不仅可 ...

  • 【每日一技】一步步告诉你:如何提出研究问题和研究假设

    在上一篇文章<阅读文献与综述的写作>中,我讲到对于刚进入研究领域的科学工作者,首先是需要进行阅读文献与写作综述.这就像我们去海边游泳时,先沿着海滩走走,看看水面的情况,有时候还用手捧起一点 ...

  • Spss详细图文教程——问卷信度和效度检验步骤图解

    问卷信度效度检验是保证后续分析有效性的必要保障 问卷的信度和效度检验都是针对量表进行 在spss中信度检验通常采用"可靠性检验" 效度分析采用探索性因子分析或者验证性因子分析 本次 ...

  • 人才招聘中的信度与效度

    作为HR,招聘人才是我们的日常工作,可以说一个HR基本上日常工作有三分之一的时间是放在企业的人才招聘上了. 甚而至于,有企业管理者就认为HR的工作就是做企业的人才招聘,其他工作基本上就是行政部门和财务 ...

  • 关于心理测量学里的信度和效度 内部一致性信度里分半信度、同质

    专业性的解释就不说了,在心理学或统计学书籍上都能查到 下面的比喻更为直观些,希望能帮到你. 信度与效度可以简单的概括为"两斤白糖",两斤是信度,白糖是效度.如果测出来的是一斤半或者 ...