在发展性学生学业评价中,信度实际上是效度的前提,因为测试必须提供与受测者的语言表现一致的、可复制的信息(Clark,1975)。信度指再度评价时评价结果的稳定程度。如果评价量表设计得不够好,或者评价者之前未受到任何培训,信度可能难以实现。而且如果测试情境不够标准,那么测试的过程中可能会出现偏差。
Jones(1979)指出发展性学生学业评价有两个显著变量:评估任务的模拟和评分的连贯性(Jones,1979)。此外,他总结出发展性学生学业评价中与参与者有关的四种信度:① 考官内在的信度,② 考官之间的信度,③评价者内在的信度和④评价者之间的信度。评价者内在的信度与评价者之间的信度是调查评价者分歧时要考虑的主要方面(Liao,2004)。大多数发展性学生学业评价的反对者质疑发展性学生学业评价中评价者内在的信度与评估者之间的信度,他们认为评价者的主观因素,可能会导致分歧(McNamara,1996)。发展性学生学业评价的评价者包括教师、其他专家、参与互评的学生以及自评的学生。
然而,很明显,当学生在教师的指导下参与设计并学会应用评价标准,设计练习,并根据评价结果来计划改进自己的表现时,发展性学生学业评价就成为一种很有效的教学工具。总之,通过增加问题、规范程序、制定评分量表,向评价者提供完整的培训,发展性学生学业评价的信度就能得到提高(Liao,2004)。
效度一直被认为是最重要的评估品质,涉及可以在多大程度上从分数获得有效的参考(Bachman,1990)。也就是说,效度是评价行为衡量所考核知识和技能的正确匹配程度。语言发展性学生学业评价的效度研究主要涉及三方面:结构效度、预测效度及内容效度(Liao,2004)。Bachman(2002)指出,结构效度与发展性学业评价发展中的两个截然不同的观念有关:以结构为中心和以任务为中心。发展性学生学业评价的主要目的是提供预测信息,即预测学习者在特定目标情景下如何使用第二语言,因此预测效度是发展性学生学业评价的主要关心内容(Johns,1985)。预测的准确性取决于内容效度。内容效度包含两个重要的概念:内容相关性和内容范围(Bachman,1990)。内容相关性指的是发展性学生学业评价任务实际测试到的与需要评价的各方面能力的符合程度,这就要求评价者尽可能将考核能力的范围及测试方法具体化(Bachman,1990)。内容范围指的是测试任务在多大程度上能让被测试者充分展示在目标工作情景下的实际能力,这可以通过随机选取代表性测试者案例来检测(Bachman,1990)。
如果发展性学生学业评价的预设目标是与课程内容紧密相关或者是向教师提供明确的教学目标,那么如何圆满地实现这些目标是一个有关有效性的重要问题。例如,假设评价者的目的是判断某人能否成为合格的舞者,内容效度高的评价就该关注受测者正确的站立姿势、良好的音乐敏感度及良好的身体柔韧度等表现,若关注点设计为受测者的音乐创作能力,则与发展性学生学业评价的初衷产生偏差,明显不能适当地评估一个好的舞者所需要的知识和技能,内容效度变低。(www.daowen.com)
本商务英语课程项目中应用了三种方式使得发展性学生学业评价可信而有效。第一种是使用发展性学生学业评价量表(Boyles,1998;Linn,1993)。这在A大学和B大学的商务英语合作项目中被广泛应用。许多发展性学生学业评价专家(如Hyslop,1996;Moss,1997;Pierce and O'Malley,1992;Wiig,2000)都大力提倡使用整体量表评估学生的表现,认为这些量表应专注于语言的交流属性。当然,使用量表也不可能完全消除评分者之间的差异。
使发展性学生学业评价更加有效且可信的第二种方法是让两位或更多的评价者参与其中(Mc Namara,1997)。在中英合作商务英语课程项目的一些教学模块中,需要有两位评价者同时评价一名学生或一组学生的表现。在评价开始前,他们应就评价标准达成一致见解(Ruth,1998)。
第三种方法是对项目中相同的学习目标采取多种评价模式。在商务英语合作项目中,每个课程模块都有不同的评价策略,例如小组陈述、商务报告撰写和模拟商务会谈等等。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。