效果检验是观察工具投入使用前一定要严把的质量关。为提高校本教研质量,实现课堂观察的专业化,评价课堂观察工具的有效性是必不可少的环节。在课堂观察工具大量涌现的时期,美国曾面临工具有效性危机。^[13]因此,21 世纪以来,研究者们开始逐渐重视对工具本身的效果评估和监测。通过对文献的梳理和分析后发现,美国对工具的评估主要通过质化评估和量化评估两大途径实现,如图2 所示。质化评估主要是基于权威的参考标准、评价指南或评价手册等;量化评估主要是基于工具信效度的检验和已有的评价量规。

图2 效果评估分类图

1.质化评估

质化评估主要是基于标准的评估,如美国学者哈伯特(J.Herbert)和阿特里奇(C.Attridge)在广泛考察美国当时的定量课堂观察体系后,于1975年提出了课堂观察体系设计的三个维度、若干细目的参考标准(如表3 所示),该标准为质化检验提供了很好的范本。^[14]此外,美国“教与学高级研究中心”(The Centerfor Advanced Study of Teaching and Learning,CASTL)在其编写的课堂观察指南《如何选择正确的课堂观察工具》(How to Select the Right Observation Tool)中详细说明了选择工具的几个关键问题,旨在促使使用者对所要选择的课堂观察工具进行全面的分析与评估。该指南共包含八项关键问题,前五项为首要考虑问题(High Priority Questions),涉及工具历时稳定性、目标一致性、情境一致性等因素;后三项为附加考虑问题(Additional Considerations),涉及工具的操作性、信息一致性等因素。^[15]

表3 观察工具评价参考标准

资料来源:J.Hebert,C.Attridge.A Guide for Developers and Users of Observation Systems and Manuals[J].American Educational Research Journal,1975,12:36.(www.daowen.com)

2.量化评估

量化评估主要是基于工具信效度的考量和已有的评价量规。效度考量主要检测工具的结构效度、内容效度、表面效度以及效标关联效度等;信度考量主要检测工具的稳定性、同等性和内部一致性等。^[16]此外,量化评估还可基于已有的评价量规,如美国“新教师计划” (The New Teacher Project,TNTP)开发的课堂观察量表的量规评价体系。该体系涉及量表指标涵盖面、期望值、清晰度、聚焦点和可读性等五个方面,其构成了TNTP 评价量规的五个维度。^[17]归纳起来,具体评分细则和要求如表4 所示。

表4 TNTP 课堂观察工具评价量规

注:若评价总分在12～14 分之间,则该观察工具基本合格,可以直接投入课堂观察的使用;若评价总分低于12 分,则该观察工具不合格,需要进一步修改完善才能投入使用。
资料来源:TNTP.RatingATeacherObservationTool[EB/OL].http:/ /tntp.org/assets/documents/TNTP_RatingATeacherObservationTool_Feb2011.pdf.2015 -10 -1.