理论教育 利用概化理论进行数据分析的关键步骤与挑战

利用概化理论进行数据分析的关键步骤与挑战

时间:2023-07-26 理论教育 版权反馈
【摘要】:我们运用概化理论进行数据分析时,需要明确测量目标和测量侧面的数量,明确测量目标与各测量侧面之间的关系。概化理论也存在一些不足。

利用概化理论进行数据分析的关键步骤与挑战

概化理论是一种把干扰测验分数的无关变量或因素引入测量模型之中,然后用统计技术分别估计出这些因素或因素之间的交互作用对测验分数的影响程度,从而较好地控制测评误差的现代测量理论。[3]

概化理论构建了对行为测量的灵活的、可操作性的理论框架,不仅可用于标准参照测试,也可以用于常模参照测试。它更加注重特定情境中的测量,强调测量的条件,以及条件与条件之间的关系。

1.分析思路

分析影响监测的各种变异来源,并将其作为模型参数,采用统计调整技术,估计其对测量结果的影响程度。根据研究目的,考查测量目标与总分变异的比例。一般测量目标占总分变异比例较大,测量的可靠性较高。

2.分析步骤

(1)确定测量目标与测量侧面。

测量目标即施测者希望描述的测试对象的属性,如某校的教学质量、学生的成绩、教师的幸福感等。而测量侧面是指影响测量目标观察值的各种因素,包括测量工具、测量过程、评分专家等,如学生学业负担的测验,其目的是对学生学业负担进行测量,因此学业负担就成为测量目标。此外,工具的质量和评分者等因素也会影响测量的结果,这些因素就是测量侧面。测量侧面又分为随机侧面和固定侧面。随机侧面是指测量侧面中所包含的各水平是随机样本,如评分专家这个侧面就有可能每次都不一样,类似这种随机变化组成的测量侧面就称为随机侧面。固定侧面是指在各次实施中水平一直保持不变的测量侧面,如标准化的心理测验中测验的项目总是一样,这样的侧面就叫固定侧面。

(2)确定研究设计与数据结构。(www.daowen.com)

我们运用概化理论进行数据分析时,需要明确测量目标和测量侧面的数量,明确测量目标与各测量侧面之间的关系。测量目标和测量侧面有三种设计,即交叉设计、嵌套设计、混合设计。每种测量设计都对应相应的测量模型及其假设。测量设计还需明确测量数据的平衡性,即测量目标下的侧面处理或处理水平的结合情况,若相同,则平衡;反之,则不平衡。根据研究设计确定分析采用的数据结构和分析模型。测量变量的多寡影响数据结构和模型对数据的收集,但并非多变量就采用多元概化分析,关键是看多变量之间相关性的强弱,如果多变量是相互独立的,就需要对每个变量进行单变量分析。

(3)估计主效应与各交互效应。

对教育质量监测而言,在一定的测量情境条件下,进行测量设计,获得相关监测结果的数据信息,估计各信息来源的误差的方差分量,就是G研究;然后,考查改变测量情境关系的某些方向,以便做出控制和改进测量精度的优化决策,就称为D研究。在G研究时,设计人员需要明确测量对象和测量目标、测量侧面和观测全域及它们的关系,还包括确定测量设计和测量模式。根据测量目标确定概化全域,即确定测验结果推广的侧面及各侧面推广的范围。确定概化全域,在各侧面条件样本水平上重新估计G研究中各因素的效应和交互作用的方差分量,获得特定概化全域上的整个测验的概化系数和可靠性指数。比较不同概化全域上系数指数的估计精度,从而确定最佳的测量设计方案,并从中获得科学的或满意的推论与概括结论。

3.优缺点

概化理论获得广泛应用的原因有五个方面。一是可以实现多因素综合分析与评价;二是便于开发科学的标准化量表;三是不易受时间的限制;四是能够形成最佳估计,便于确定监测人数;五是全域分数可以对不同监测指标的不同权重进行合理性综合。

概化理论也存在一些不足。第一,概化理论偏重于测量单维性的心理特质,导致监测应用中对试题样组的同质性要求高。第二,概化理论涉及的数据结构较为复杂,对采用方差分析的方差分量来估计误差时可能会出现负值,在有关时间测量的研究中无法解释这种结果。第三,概化理论的数据分析难以用于事先实测数据的比较,对可靠性的分析严重依赖于实测数据的完备性,需要研究者必须有较高的测验设计水平和实测控制能力。第四,随机误差在预测数据分析的结果,特别是将结果应用到实际测验的编制中会有一定的影响。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈