课堂观察工具开发的主要任务是观察点或指标的确定。崔福斯(Travers)通过对《行为之镜》中73 个用于课堂情境中的观察工具仔细分析后,根据它们的指标来源将其归为四类并分别统计出数量:(1)明确表示其指标援引自某个/些理论的工具15 份。例如,布朗(Brown)所设计的认知活动量表维度是“以布卢姆教育目标分类学中认知领域的目标为理论依据”^[10]制定的。(2)未明确表示但其指标有明显理论基础的工具10 份。(3)根据需要从已验证过信效度的量表中摘选指标的工具24 份。(4)作者自创指标的工具24 份。^[11]因此可以得出,课堂观察工具的开发主要有调适和创生两大取向,而大多数工具的开发是基于某些理论或现有量表指标调适发展而来。

那么,基于调适取向的工具开发流程又是怎样呢?比较有代表性的是美国学者玛利亚(Maria Gomez -Garcia)在开发一套英语课堂观察工具时设计的八步骤开发流程,具体步骤如下所示。

步骤1:确定量表的初始维度和指标。研究者依据有效英语教学的文献调查和已有量表的指标筛选拟定出量表初稿。

步骤2:确定量表评估方式。研究者研究决定采用“六点式李克特量表(Six-point Likert scale)”来搜集被测者对指标内容的同意程度和反馈信息,此步骤为工具评估前的准备工作。

步骤3:专家审校量表项目以确定指标内容效度。为了确定步骤1 中拟定的量表初稿内容是否符合有效教学的理论框架,研究者通过以下三步来搜集专家意见。

(1)选择专家组成员并与专家取得联系;

(2)通过电子邮件将初始量表递交给专家组成员;

(3)搜集专家意见,根据专家反馈对量表项目进行适当增删或修改,得到量表修改版I。(www.daowen.com)

步骤4:小范围试测以改进指标内容格式。为了进一步完善修正步骤(3)中得到的修改版I,研究者请部分专家型英语教师(15 名)对其进行预评测,搜集指标格式、措辞等方面的修改信息,得到修改版II。

步骤5:大范围评测以确定指标结构效度。为了确定指标的结构效度,即工具使用者(教师)对指标是否反映有效英语教学的认可程度,研究者请不同水平阶段的英语教师(150 名)对修改版II 进行评估,得到修改版III。

步骤6:信度检测。研究者采用因子分析法、克朗巴哈系数法(Cronbach's alpha)对工具进行信度检测。

步骤7:稳定度分析。研究者对步骤5 中的150 名被测教师在间隔两周后进行重测分析来评估工具的稳定度。

步骤8:确定终稿。研究者综合步骤3、4、5 的评估反馈和步骤6、7 的检测信息之后,确定最终量表项目,形成终稿。^[12]

如图1 所示,该开发流程除了拟定初稿、准备工作以及确定终稿三个步骤,其主体部分经过了“一审四测”的层层把关:专家审校、教师试测、教师评测、信度检测以及教师重测。此外,研究者强调,拟定初稿的文献搜索工作要尽量全面细致,从而为后续工作奠定良好的基础。确定终稿要搜集采纳多方信息,综合评估,以确保终稿科学可靠。

图1 课堂观察工具开发流程图