理论教育 评价测量工具的指标-教育学考研应试宝典(教育研究方法)

评价测量工具的指标-教育学考研应试宝典(教育研究方法)

时间:2023-11-20 理论教育 版权反馈
【摘要】:20min搞定测量工具的评价指标主要有效度、信度、难度和区分度。测量的效度与测量的目标有密切关系,效度就是指测量本身所能达到目标的有效程度。因此,估计效标关联效度需要两个测验结果,这两个结果可以同时获得,也可以先后获得。效标关联效度是指测验结果与某种标准结果的一致性程度。②具有效度的测量一定具有信度,而有信度的测量则不一定具有效度。

评价测量工具的指标-教育学考研应试宝典(教育研究方法)

20min搞定(19年311简)

测量工具的评价指标主要有效度、信度、难度和区分度。

1.效度(21年311选)

(1)概念:效度是测量的准确性和有效性,也就是测量的结果与所要达到的目标之间相符合的程度。测量的效度与测量的目标有密切关系,效度就是指测量本身所能达到目标的有效程度。

(2)类型

内容效度:指测验题目在多大程度上概括了所要测量的整体内容,也就是内容的代表性。

②效标关联效度:指测验结果与某种标准结果的一致性程度。有的测验,已经有了实践证明及大家公认的高效度的量表,用此量表对一组对象实施测量得到一组分数,这组分数称为效标。如果另编一个量表,对同一组对象实施测量,可以得到另一组分数,二者比较,如果相关系数高,则表明用另编的量表所测验的结果效度是高的,反之则低。因此,估计效标关联效度需要两个测验结果,这两个结果可以同时获得,也可以先后获得。效标关联效度是指测验结果与某种标准结果的一致性程度。

③结构效度:指测验结果能够说明理论上的某种结构或特性的程度。例如,人们认为智力具有某种结构,即由若干不同的智力成分(如判断、理解、推理等)构成,如果某种智力测验能真正测出智力结构中的各种成分,那么它的结构效度就高。

(3)提高效度的方法

①要根据测验目的来确定测验的范围、内容和结构,并据此精选试题,使测验试题尽可能代表要测验对象的属性。

②提高信度。

2.信度(20年311选;20年苏州大学辨)

(1)概念:信度是测验所得分数的稳定性和可靠性,是指测量多次所得的结果是一致的。比如一个人在数次接受同一测验时获得的分数近似相同。几次测量的相关系数越高,信度越大。

(2)信度估计的方法

①重测信度法:用同一套试卷在两个不同时间内来测试同一批被试,这样便获得两组分数,然后计算出两组分数的相关系数。

②复本信度法:对同一批被试使用试题类型完全相同,难易程度相当,但具体题目不同的两套对等试卷先后进行两次测试,然后计算出两次得分的相关系数。

③分半信度法:测试只进行一次,但将整份试卷的题目按单、双数分成两组来分别计分,算出两组分数的相关系数,然后再用斯皮尔曼-布朗公式计算整份试卷的信度系数。具体计算步骤是:将两组分数的相关系数乘以2,再除以1加上两组分数的相关系数。

④评分者信度法:多个评分者给同一批被试的答卷评分的一致性程度。

(3)提高测验信度的方法

①增加题目数量。如果容量小、题目少,得分受抽样影响较大,就不能代表真实水平。

②测验难度适中。如果测验难度处于极端,那么就会形成高低不分的现象,使得测验分数不能反映被试的真实水平。

③内容同质。一般的测验总是想测定某种属性,所以测验内容应该紧紧围绕这种属性展开,而不能掺杂其他属性的内容。例如,要测定学生的计算能力,就不要掺杂偏重于考查记忆力的题目。

④程序统一。这主要是指要规范测验测量的程序。

⑤时间充分。要保证测验的时间。

⑥评分客观。

⑦被试身心健康。被试本身的动机水平、积极性以及身体的疲劳程度等也会影响测验的信度。

(4)信度与效度的关系

①测量的信度与效度既相互联系又相互制约。

②具有效度的测量一定具有信度,而有信度的测量则不一定具有效度。

③信度是基本保障,无信度则无效度。

凯程提示:信度和效度的关系,考生一定要熟练、准确地记忆,此知识点各种题型都会涉及。

3.难度

(1)概念:难度是指测量项目的难易程度。一般用试卷的得分率或答对率(P)表示。

(2)计算方法:难度衡量的指标一般考虑两个方面,一个是通过试题的人数与总人数之比,多用于选择题; 另一个是被试所得分数的平均值与该题的满分之比,多用于问答题。

(3)特点:难度值越小,题目越难。一般认为,难度在 0.4~0.7较为适宜。

4.区分度(16年、18年311选)

(1)概念:区分度又称鉴别度,是指每一道题目对所测量的心理特性(或学习成绩)的区分程度。一道题目的区分度是以考生在该道题目上的得分与他们整份试卷上的分数之间的相关系数来表示的。

(2)计算方法:D代表题目区分度指数,从计算角度讲,D等于高分组在特定题目上的平均得分减去低分组在该题目上的平均得分的差再除以该题目的满分值。高分组、低分组人数各占总人数的27%。

(3)特点:一般来讲,区分度越接近1越好,难度为0.5时,其区分度最好。区分度的值:0.4以上表示优良;0.3~0.39表示合格;0.2~0.29表示尚可,稍作修改更好;0.19以下必须修改或淘汰。

助记

测量工具的评价指标

真题真练

1.【2010年,第 42 题】与问卷调查相比,访谈调查的优点是 (  )

A. 更具客观性 B. 更有利于做大样本研究(www.daowen.com)

C. 更有利于研究深层次的复杂问题 D. 更易对数据进行编码处理

2.【2011年,第 42 题】在测量调查中,用“1”代表男性,用“2”代表女性。这一测量属于 (  )

A. 定名测量 B. 定序测量 C. 定距测量 D. 比率测量

3.【2012年,第 43 题】李老师将儿童阅读能力划分为优、中、差三个等级进行测量调查,这种测量属于(  )

A. 定名测量 B. 定序测量 C. 定距测量 D. 比率测量

4.【2013年,第 43 题】“你曾经在考试中作过弊吗?”这是某研究者在“关于大学生学习现状的调查问卷”中的一个题目。这一题目存在的主要问题是 (  )

A. 过于书面化 B. 词义含糊 C. 带有暗示性 D. 涉及敏感性问题

5.【2013年,第 44 题】在教育测量调查中,适用于次数、百分比统计而不适用于中位数、等级相关系数统计的测量类型是 (  )

A. 定名测量 B. 定序测量 C. 定距测量 D. 比率测量

6.【2015年,第 43 题】某考试将考生考试的最终结果分为及格与不及格,这种测量属于 (  )

A. 定名测量 B. 定序测量 C. 定距测量 D. 比率测量

7.【2016年,第 42 题】从理论上讲,具有最佳区分度的试题的难度值是 (  )

A. 1.00 B. 0.75 C. 0.50 D. 0.25

8.【2017年,第 39 题】在问卷调查中,相对于封闭式题目,开放式题目的优点是 (  )

A. 问卷回收率较高 B. 对调查对象文化水平要求较低

C. 有利于数据处理 D. 利于研究复杂问题

9.【2017年,第 40 题】研究者试图了解某地区初中教师的教育理想和信念,最适合选用的研究方法是 (  )

A. 观察法 + 访谈法 B. 问卷法 + 访谈法 C. 问卷法 + 实验法 D. 实验法 + 观察法

10.【2019年,第 45 题】在英语听力测试过程中突然停电 2 分钟,导致听力材料无法连续播放,学生测试成绩偏低,不能反映学生的真实水平。这种测试成绩与真实水平之间的误差被称为 (  )

A. 系统误差 B. 随机误差 C. 抽样误差 D. 操作误差

11.【2020年,第 41 题】某一关于教学质量满意程度的调查问题,只给出了“非常满意”“满意”两个答案选项。这违背了问题答案设计要求的 (  )

A. 完整性 B. 互斥性 C. 相关性 D. 同层性

12.【2020年,第 43 题】在一次科学测验中,甲生成绩为 80 分,乙生成绩为 40 分,可以说甲生的成绩比乙生多 40 分,但不能说甲生的成绩是乙生的两倍,因为学科测验的测量类型是 (  )

A. 定名测量 B. 定序测量 C. 定距测量 D. 比率测量

13.【2020年,第 45 题】为了提高主观题的评分质量,管理部门常常抽取一些试题,让阅卷教师和专家同时评阅,并对二者的评阅结果做信度分析。这种信度为 (  )

A. 重测信度 B. 复本信度 C. 分半信度 D. 评分者信度

14.【2021 年,第 41 题】在命题时使用“双向细目表”,以保证试卷知识点的覆盖面和认知层次的合理性,这种做法是为了 (  )

A.结构效度 B.预测效度 C.同时效度 D.内容效度

15.【2021 年,第 42 题】在对参加抗击新冠肺炎疫情的一线医护人员子女学业成绩影响的访谈准备中,应采取(  )

A.粗线条提纲和标准化 B.精细提纲和标准化

C.粗线条提纲和灵活化 D.精细访谈提纲和灵活化

【参考答案】 1.C 2.A 3.B 4.D 5.A 6.A 7.C 8.D 9.B 10.B 11.A 12.C 13.D 14.D 15.C

非统考院校真题

【名词解释】

1.问卷调查(北师大14年) 2.问卷(西南大学17年)

3.测量调查(北师大17年) 4.非结构式访谈(华中师大19年)

5.测量(首师大20年)

【辨析题】1.效度高,信度一定高。(苏州大学19年) 2.教育实验信度越高,其结果越准确。(苏州大学20年)

【简答题】1.简述访谈法的特征。(首师大20年) 2.简述问卷的编制过程。(安庆师大21年)

【论述题】1.论述访谈中的提问与追问。(西南大学19年) 2.如何做一个好的问卷?(西南大学20年)

【注释】

[1]本章主要参考裴娣娜的《教育研究方法导论》第九章。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈