教育实证研究的工具你get到了吗？
目前，我国教育研究领域正在大力倡导实证研究。然而，有关“实证研究质量”或“实证研究品质”的探讨却很少，笔者在“中国知网”只检索到一篇有关特殊教育领域的实验设计质量的文献［１］。我国教育实证研究的高质量发展，需要明确质量追求和品质标准。教育实证研究是依赖数据和资料的，而数据和资料的获得是要靠研究工具的。定量研究主要采用标准化的工具（例如：测验、问卷、量表等）收集量化数据；质性研究则以研究者自己为主要工具，亲临研究场域利用观察、访谈、分析档案资料、分析物理线索等方法收集资料［２］。工欲善其事必先利其器，研究工具的品质对于保障教育实证研究的质量至关重要。
1.定量研究工具的品质要求
1.1
“成就测验”工具的品质要求
测验工具是在标准化的情境下，对个人心理特质做客观评量的工具。如成就测验，包括标准参照测验（如英语四级），常模参照测验（如高考），就是测量学生的知识和技能。成就测验工具编制的内容及品质要求见表１［２-４］。
表１成就测验工具编制的内容及品质要求
1.2
“问卷”工具的品质要求
研究对象自行填答的问卷：是由一组问题组合的调查工具，以收集数据和资料，了解现状。问卷工具的编制原则和品质要求如下［２，５－６］：
第一，问卷前须附上说明函。内容要求包括：研究的目的和问题；研究单位和（或）资助单位名称，研究者的姓名（指导教授）及联系方式；强调自愿性；保证匿名与保密；问卷填答说明；提供回收地址及期限；感谢填答者的参与，说明他们对研究的重要性。
第二，问卷名称的品质要求包括：（１）减少敏感性和威胁性，避免填答者产生社会喜爱的效应。例如，“高中化学新手教师教学自信表现问卷”，其中的“教学自信”就容易让填答者产生社会喜爱反应，而给研究者好的印象，应该修改为“高中化学新手教师教学行为表现问卷”。（２）要与调查内容匹配，不宜过大或过小，就像文章题名匹配文章内容一样。
第三，问卷中有关填答者背景资料的内容要求：只调查与研究相关的必要资料；将背景资料的调查安排在最后，较不会让填答者感到突兀和隐私被侵犯。
第四，问卷中的题目及内容要求：（１）若问卷题目被分为若干维度，须说明各个维度的内涵，各个题目所属的维度要明确，题目内容与维度内涵须一致。（２）每个题目只针对一个主题，避免双重问题，例如：“项目式教学能促进教师专业发展，提升学生的自主学习能力”就包括“教师”和“学生”的双重问题，是不好的题目。（３）如果以加和计算总分的方式分析结果，题目的建构必须有理论依据，加和的题目必须反映共同的意义，得分高低也要有明确的意义指向。（４）明确问卷题目是询问填答者对“外在现象”的观感，还是对“个人状况”的观感。（５）明确问卷的题目是在询问填答者“做某件事的能力”，还是“做某件事的实际表现”。“我会为化学后进生设计个性化的辅导计划”就不明确，是“有能力做”还是“实际做了”？可修改为：①我具备为化学后进生设计个性化辅导计划的能力；②在２０１７至２０１８学期，我为执教班的化学后进生设计了个性化的辅导计划。（６）使用填答者可以理解的语言和简单完整的句子陈述问题，语意要清楚明确，避免专业术语、俚语、缩写字，要使用较为中性的词汇，避免强烈、极端的词汇（如：“禁止”就不如“不允许”好）。若必须用“专业术语”，则需要给出明确的界定。例如，“我觉得向别人诉说自己的学习问题是一件丢脸的事【别人是谁呢】”“我近期内有带班上的学生开展课外活动【近期是何时？多久？】”“我花了很多时间复习化学课程内容【很多时间是多少呢？】”。（７）保持问题的中立性，避免预设前提、价值引导、反应偏见、情绪反应。例如，“你支持教育部提出的不允许公立学校的教师做家教的政策吗【利用名人或权威机构的看法来引导，欠缺中立性】”“为后进生设计个性化的辅导计划是教师责任心的体现，您赞成其落实情况作为评价教师教学质量的指标之一吗【以社会期望的责任心来引导，欠缺中立性】”“您赞成用体罚这种激烈的手段来处理学生的违纪行为吗【以激烈的价值判断来引导，欠缺中立性】”“您赞成适度地减少高中化学课时吗【适度，吸引人的词汇引导】”“对于与学生无法建立良好的互动，您感觉如何【以预设立场（有压力、有困难、不能、无法等）来引导，欠缺中立性】”。（８）设计填答者能够回答的问题，避免无法或者很难回答的问题，避免回答遥远过去和长远未来的问题。例如，“您任中学化学教师以来，参加了多少次市级的教研活动【这需要回忆，很难正确回答】”，建议修改为“您过去一年中，参加了多少次市级的教研活动”。（９）对于很难理解或易混淆的题目，最好能举例说明。（１０）对于敏感性或威胁性的问题，要用适切的文句。例如，“您有阅读黄色书刊的经历吗”应该修改为“请问您有阅读过成人书刊吗”。
第五，问卷选项的设计原则：（１）选项要周延、平衡、不重叠。例如：“非常同意”“同意”“不同意”３个选项就不够周延，宜加“非常不同意”“不确定”【选项最好涵盖所有的可能性】。（２）选项的叙述力求简短，相同的字词宜放在题干中。（３）选项的排列要有逻辑次序，例如按照时间先后、程度深浅、次数多少等顺序排列。（４）选项不要标示分数，以避免产生填答者的社会喜爱效应。（５）如果是调查知识性的问题，应该考量填答者所知有限的情况，宜提供“不知道”选项，避免随意填写或留白，造成研究者无法区分究竟是“漏填”还是“不知道”。
第六，问卷题目的排序原则：（１）先问较能引起兴趣、较容易回答的问题；（２）遵循逻辑性和系统性，同一面向的问题放在一起；（３）先问一般性问题，再问特定问题；（４）若包含正向和反向题目，宜随机安排，避免固定的反应倾向。
第七，问卷的形式和长度要求：（１）形式宜吸引人，具有可读性，印刷精美，层次分明；字体大小适中，用不同字体区别题干和选项，用不同字体、底线或颜色提示重点或提示说明；题目间有适当的空间；选项较长时，一行呈现一个；题目和选项印在同一页上；易于填答，多用代码，少用文字填答。（２）长度适切，年龄越小者给以的题目宜越少；较长的问卷，中间宜加入鼓励继续填答的话语。（３）如有正反向题目，正向和反向的题数要相当。
1.3“李克特量表”工具的品质要求
李克特量表是由一组评测某个相同构念或现象的题目组成的测量工具。其编制原则和品质要求包括［２，７］：（１）必须确定至少一个理论（哪怕是试验性的理论模型）作为指导。（２）每个题目具有相等的重要性。（３）基本假设是不同程度的选项间是等距的，可以加和不同题目的得分而得到总分。（４）最好设置３～７个等级。（５）须明确界定各个等级（选项）所代表的意义。（６）须注意选项间确实是等距的。（７）题目的含义必须清晰，只针对一个主题，不能含糊，不能有多重含义，不能使用指示不清楚的代词，不能使被试进退两难、左右摇摆。（８）题目的阅读难度适中，避免冗长的题目，避免不必要的华丽辞藻，避免双重否定表达。（９）编写题目时就应该考虑测试的模式，以使２者匹配。（１０）做因素分析，要求各个因素最好由５个或５个以上的题目形成，即若有分量表，每个分量表至少包含５个题目。
2.定量研究工具开发的品质要求
获得研究工具的办法有２种：如果使用文献报道的研究工具能够满足研究所需，使用已有的研究工具是上策；如果已有的研究工具不能满足研究的需要，那就需要自己开发一套新的研究工具。
开发新的研究工具的步骤及品质要求包括［２，５－８］：
第一，编制研究工具初稿的要求：（１）如果相关文献很丰富，可以参考相关文献开发题目，说明每个题目参考哪些文献。（２）如果相关文献很有限，以访谈和（或）观察等质性研究方法开发量化研究工具的题目。（３）必须依据某个清晰的理论架构开发研究工具，才可能产生理想的构念效度。构念是指用来解释人类行为的理论架构或心理特质，例如：批判思考能力、阅读理解能力、推理能力等。构念效度是指研究工具可以评测某种构念的程度。
第二，要核验研究工具初稿的内容效度（即研究工具的内容能否充分代表所要评测的构念或项目），有３种办法：（１）可以列出双向细目表，比较研究工具的内容与评测的构念或项目是否一致。（２）请专家评价题目的适切性，需要设计研究工具的专家评价问卷，其内容包括：研究说明（研究的目的和内容），研究工具说明（测试的对象、目的、架构，填答和评价的方式，调查的背景资料和理由等），需要专家填答的题目和选项，专家填答说明等，以便专家给出科学合理的评价。（３）实施小规模的预试，了解研究对象填答和对题意理解的情况，询问修正的意见，进一步修改研究工具。需要指出的是，如果评测的是类别变量和顺序变量，则开发的步骤到此即可。如果评测的是等距变量或比率变量，则还需要进行下面的开发步骤才能形成正式的研究工具。
第三，开展大规模预试，修正和完善研究工具。具体要求包括：（１）预试对象来自于正式取样的总体，取样宜随机化，确保其与正式研究对象的特征相似，具有代表性。（２）实施预试的过程与情境，力求标准化，并与未来正式测量的步骤一致。（３）宜提供足够的作答时间，以收集更加详实的信息，记录最短和最长的填答时间，多数人所需的时间，以确定正式测评时的时间。（４）记录预试对象的各类反应或疑问，以修正研究工具。（５）预试工具的题目数，至少应该是正式工具的题目数的1.5倍，多至４倍。（６）预试对象的人数：含最多题目“分量表”题数的３～５倍；做因素分析时，为总题目数的5～10倍，或者300人以上，最低不得少于100人；100以下为差，200为普通，300为好，５００为非常好，1000以上为优秀。（７）常做的项目分析：①题目总分相关分析。即核验各题目与总分（不含相应题目）或者分量表总分数之相关系数，相关系数越高（不得低于０．３０），代表测量同一项目的一致性程度越高。②决断值（临界比）分析。根据测量总分，区分出高分组（前25％或27％）和低分组（后25％或27％），再运用独立样本ｔ检验，统计分析得出在每一题上高分组与低分组的平均得分的差异显著性ｔ值（这就是决断值），此值越高代表题目的区分度越好，通常决断值大于3.0即可被接受。③多元相关分析。即求内部一致性系数，以某一题目得分为依变量，同一分量表的其他题目得分为自变量，求多元相关系数，相关系数越高，表明该题目与其他题目的一致性越高。④如果是成就测验，则需要加做难度（Ｐ，接近0.50为最适宜）和区分度（Ｄ，越大越好，最低下限是0.20）的分析，以及选择题的选项分析，要求正确答案的出现顺序要随机，以及错误选项被选择的机会均等（期望值：某试题答错人数除以错误选项个数）。
第四，建立研究工具的构念效度或（和）效标效度。建立构念效度的最常用的方式是因素分析，以因素负荷量的大小作为取舍测验题目的依据，通常因素负荷量大于0.30的题目可被接受。因素分析还能得出该测验包括多少个因素，以及各个主要因素所涵盖的题目。效标是指衡量测验有效性的客观、稳定、可靠的外在标准，通常指要预测的行为表现；效标效度就是研究工具的测量结果对目前或者未来某项行为表现的预测力高低，例如：以实际高考成绩与模拟高考试题得分之间的相关性来检验高考模拟试题的有效性，实际高考是模拟考试的效标。
第五，分析研究工具的信度。（１）外在信度：包含稳定性和一致性２个指标，即不同人或者不同时间测量时，研究工具得出结果的一致性。重测信度：用来核验研究工具的稳定性；观察信度或评分者信度：用来核验研究工具的一致性。（２）内在信度：包括等值性和同质性２个指标，是指研究工具或者研究工具中的分测验／分量表是否测量单一概念，以及研究工具的各题项的内部一致性程度。重测信度、复本信度：核验研究工具的等值性；内部一致性信度：核验研究工具的同质性，是最常用的，包括折半信度和α系数，其中被运用得最多的是α系数。（３）α系数在0.80以上，研究工具才具有使用的价值。当测验分数用于鉴定和安置等决断用途时，α系数最好在0.90以上，0.95是最适宜的标准。（４）需要注意的是，重测信度难以避免传导效应和研究者自身的变化带来的误差，复本信度难以保证相似测量工具的等价性，折半信度会随分成两半的不同方式而变化，而α系数是所有不同折半信度系数的均值。因此，α系数是研究工具信度的最佳考量指标。（５）需要说明的是，收集事实性资料、现状信息的问卷，所得的是分类变量数据和顺序变量数据，是不需要做信度分析的。而用于评价某个构念或现象的量表，就像是一杆秤和一把尺一样，属于计量工具范畴，所得的是等距变量数据或比率变量数据，必须要做信度分析。
3.研究工具写作的品质要求及案例分析
3.1
研究工具写作的品质要求
在定量研究论文中，研究工具写作的原则和内容要求是［２，９］：（１）研究过程中使用的所有工具都须有文字说明，并将详细内容纳入附录（包括核验内容效度的专家评价问卷）。根据笔者作为《化学教育》期刊编辑的经验及观察，我国化学教育研究者在投稿过程中并未自觉地做到这一点，期刊也缺乏关于此项的具体要求。（２）所有的研究问题都需要有适当的研究工具来探究。（３）研究工具的名称要清楚明确。（４）研究工具的编制者、编制依据和编制过程。（５）研究工具的目的、内容、呈现形式及反应形式。（６）研究工具的施测者、施测对象、施测时间及时长、施测地点、施测情境、施测方式、计分／录方式。（７）研究工具的效度和信度资料：指标、计算方法、结果或数值。
在质性研究论文中，研究工具写作的原则和内容要求是［２］：（１）质性研究以研究者自己为工具，须清楚地描述研究者自己的专业背景和相关训练及角色，个人的经验性知识，研究者和研究参与者的关系等。（２）须描述研究的辅助性工具，例如访谈提纲、观察指引等，须给出其编制者、编制依据、开发过程，以及该工具的目的、内容、使用方式、使用程序等。（３）须说明记录用的工具，例如实地记录本、摄影机、录音笔、相机等，须说明何时及如何使用等。
3.2
实证研究论文案例分析
案例论文［１０］中有关“研究工具”的内容如下（略去图和表）：
“借鉴库恩范式理论中对范式的界定“一个科学共同体成员所共享的信仰、价值、技术等的集合”。由此，范式应包括3个要素——共同体的信念、问题域和解题方法。将目前的听评课活动作为听评课的一种范式，从范式的３个要素对其进行深入的解析，由此确定问卷的7个一级维度。
依据已有研究成果和前期调研所得到的初步结果，设计每一个一级维度之下的相关指标，并依据指标设计具体题目，形成《普通高中化学教师听评课活动现状调查问卷》。为了确保问卷的信度与效度，首先进行预测试，通过对预试结果的分析对问卷进行相应的修正，然后进行正式调查。问卷中的题目主要采用选择题和李克特五点量表的方式计分，为确保调查的客观性，问卷特设了部分反向题，其赋分与正向题目相反，以避免被试猜测。标注＊的题目为反向题。表２为问卷的维度指标体系。问卷采取现场发放和回收以确保其有效率。问卷发放后由被试独立完成。问卷共包含49道题，采用克伦巴赫α系数对其进行信度检测。问卷的总信度克伦巴赫α系数为0.926，高于0.8，各维度的信度都高于0.5，总体来说该问卷有较高的信度。”
根据上述定量研究论文中研究工具写作的原则及内容要求，此案例论文有关“研究工具”写作的优点及存在的问题包括：（１）交待了编制研究工具（问卷）的依据——库恩范式理论。（２）交待了研究工具的名称——普通高中化学教师听评课活动现状的调查问卷。（３）没有交待清楚研究工具的编制者及编制过程，编制者仅仅是作者自己吗？提到“依据已有研究成果和前期调研”，具体是什么呢？提到“预测试及相应的修正”，修正了什么？修正的依据和原因是什么？预测试多少题项？最终测试又是多少题项？题项在各个维度的分布情况？题项的内容究竟是什么？（４）交待了研究工具的形式及反应方式——选择题和李克特５点量表，但未说明具体选项及赋分和计分方式。（５）交待了实施测试的方式——现场发放和回收问卷，独立完成，但未说明“现场”指的是什么情境下的现场？施测地点在哪里？施测者是谁呢？施测时间及回答时长？（６）交待了研究工具的信度指标及数值——克伦巴赫α系数，但未交待其计算方法。
参考文献
［１］李欢，龙艳林．现代特殊教育，２０１９（６）：８－１４，２２
［２］钮文英．教育研究方法与论文写作．台北：双叶书廊，２００６：４１５－４３８，４５０－４６７，５５３
［３］余民宁．教育测验与评量：成就测验与教学评量．台北：心理出版社股份有限公司，２０１１
［４］（美）凯温·Ｒ．墨菲，查尔斯·Ｏ．大卫夏弗．心理测验：原理和应用．张娜，杨艳苏，徐爱华，译．上海：上海社会科学院出版社，２００６
［５］（美）布拉德伯恩，萨德曼，万辛克．问卷设计手册：市场研究、民意调查、社会调查、健康调查指南．赵锋，译．２版．重庆：重庆大学出版社，２０１０
［６］风笑天．社会调查中的问卷设计．２版．天津：天津人民出版社，２００１
［７］（美）德威利斯．量表编制：理论与应用．魏勇刚，龙长权，宋武，译．２版．重庆：重庆大学出版社，２００４
［８］（美）佩达泽，施美尔金．定量研究基础：测量篇．夏传玲，译．重庆：重庆大学出版社，２０１３：１１２－１４７
［９］（美）克雷斯威尔．研究设计与写作指导：定性、定量与混合研究的路径．重庆：重庆大学出版社，２００７：１２５－１２７
［１０］方洁．化学教育（中英文），２０１９，４０（２３）：５３－５９
↑↑↑ 向上滑动查看更多参考文献
朱玉军，男，理学硕士，毕业于首都师范大学，北京师范大学化学学院《化学教育》编辑部主任。研究方向为化学教育，科学教育，科研论文写作。
原文标题：教育实证研究中研究工具开发与写作的品质要求
文献来源：《化学教育》2020年第18期