评价是职业教育教学实验中的一个重要问题。它不仅对已完成的实验具有鉴定作用，而且对职业教育教学实验的进一步发展具有导向作用。

（一）职业教育教学实验评价的本质与功能

1.职业教育教学实验评价的本质

尽管任何教学实验都有评价，都要用评价来鉴定实验的效果，但是，真正把评价问题作为职教实验中独立研究的一个重要问题，还是20世纪90年代以来的事。

评价之所以越来越引起职教教学实验的实践者和研究者们的重视，探其原因主要有三：首先，改革开放以来，借鉴国外先进职教经验，开展职业教育的教学实验日益引起了人们的重视。如：借鉴德国的“双元制”、加拿大的CBE以及劳工组织的MES等先进经验，进行的职业教育教学实验已成为推动职业教育教学改革的主要力量，获得了蓬勃发展。这些职业教育教学实验的内在效度、外在效度如何？其发展态势如何？有什么规律或特点？对这些问题的思考与探究就涉及到对实验的评价。也就是说，对评价的重视和研究，是职业教育教学实验发展的必然结果。其次，职教教学实验评价自身的薄弱或落后，也就是指职教教学实验评价的思想观念、理论依据、技术方法等各方面的原始、简单，甚至片面、主观。有的评价只使用了日常的主观打分法，有的评价只是知识、技能的评价，而对实验的其他效果，如教学结构、教学模式优化情况，以及学生的职业能力的发展变化，则未予触及。第三，受一般职教教学评价的影响。自20世纪80年代以来，职业教育教学评价成为评估职业学校办学水平、教师教育教学成效的重要手段，教育行政部门也期望借助于评价来提高管理和决策的科学性。一般职教教学评价的发展对职教教学实验产生了深刻影响。总之，评价问题被引起广泛的重视，标志着职教教学实验作为一种专门的研究活动更加成熟起来。

但是，在职教教学实验的评价中也存在着许多问题。其中最主要的问题是人们常常把职教教学实验评价混同于一般的职教教学评价。其原因是多方面的。职教教学实验在实践上离不开一般的职教教学活动，对实验的评价必然包括对实践活动的评价，后者必然运用一般的职教教学评价方法。另外，职教教学实验评价的技术与方法还不健全，还没有成熟的、系统的技术和方法，例如实验评价的指标体系等，人们不得不借助于一般的职教教学评价技术和方法。但是，最根本的原因是对职教教学实验评价的本质缺乏明确的认识。

从实质上来说，职教教学实验评价不同于一般职教教学评价，二者最根本的区别是实验性，即研究性。一般的职教教学评价只鉴定实践效果，而实验评价则既鉴定实践效果，也鉴定研究成果，包括检查实验假说确证的情况，对实验的实践效果做出合理的解释、说明的情况，有关各种变量关系的表述情况，等等。在现实的用一般评价来代替实验评价的情形中，研究成果的评价被忽视了。这反映出对职教教学实验评价的本质缺乏正确的全面认识。

职教教学实验评价的本质包括以下几个方面。

首先，职教教学实验评价是对职教教学实验的实践意义和理论意义的评价。实践意义涉及的内容有：具有实践应用价值的实验自变量的效力情况，这是职教教学实验的直接研究对象或目标；学生职业能力的发展情况，教师素质通过实验的发展变化情况，以及职业学校办学水平变化情况，等等。自变量的效力通过学生、教师、学校变化情况来表现。理论意义涉及内容有：假说确证的情况，发现新规律的情况，语言描述的规范以及整个实验工作，等等。这也要从实验的性质、目标和任务等方面来选定理论评价的方面。理论与实践这两个方面的评价相辅相成，缺一不可。一般来说，实践意义的评价是理论意义评价的基础或条件，而理论意义的评价则是实践意义评价的依据，是对实践意义评价结果的解释、说明。这两个方面评价的结合与统一，构成了完整的职教教学实验评价内容。

其次，职教教学实验评价是定量与定性的综合评价。它既包括定量描述，又包括定性描述。二者都是必要的手段或方法，评价中具体采取哪种方法主要取决于实验评价目的的需要。对于不同实验评价来说，定性定量描述可能主次不同。有的可能以定性为主，定量为辅，例如职业道德发展的教学实验；有的可能以定量为主，定性为辅，例如职业知识、技能方面的教学实验。但无论如何，对于职教教学实验评价来说，定性与定量都是必要的，是互相结合的，而不是相互排斥、取代的。

第三，职教教学实验的评价不仅要有描述，而且还要有价值判断，即对实验的理论价值与实践价值作出鉴定。描述反映客观事实是基础；而价值判断反映主体的需要与价值观，体现实验令人满意的程度，它给描述赋予了意义。价值判断包括分析、综合、评定和结论等内容。分析是指对描述的客观事实进行分析，确定各个方面合乎主体及实验本身所需要的情况。综合是指对各项分析的结果进行统整，利弊分析等，得出一个综合性的认识。评定则对描述的事实结果的价值进行量与质的评定，确定一个客观的程度。结论则是对评定的价值程度做出满意与否之类的结论，例如“实验是成功的”、“非常成功的”或“不成功”、“很不成功”，这就是结论。分析、综合、评定、结论是价值判断的主要内容。对于不同的实验评价来说，其中的价值判断所涉及的内容可能有区别，有的可能综合的内容多些，有的可能评定的内容多些，这要从实际需要出发，不能一概而论。

2.职教教学实验评价的功能

一般来说，职教教学实验的评价具有如下功能。

（1）对职教教学实验具有指导作用

职教教学实验评价作为贯穿于实验全过程的因素，对实验的选题、设计、实施起着重要的指导作用。在现实的职教教学实验评价中，有许多只是把评价作为实验结束时的一个单独环节来处理，只抓了结果评价，这是片面的。其实，评价对职教教学实验具有全过程的指导作用。对于实验的背景条件来说，背景评价对实验的可行性、有效性具有论证、鉴定作用；对于实验的方案来说，方案评价对实验设计的科学性具有评定作用；对于实验的实施过程来说，形成性评价对实验操作是否合乎要求，是否与设计一致，是否表现出了灵活性、创造性，具有评定、指导作用；而终结性评价是对实验的结果进行有关的鉴定和指导。所以，评价是贯彻于实验的全过程的因素，对于实验的全过程都有指导作用。这一点要求实验主体自始至终要有一种评价意识，用评价的眼光和标准，来处理实验的每一个环节，使实验按计划有效地进行，以达到预期的目标。

（2）对职教教学实验的发展具有导向作用

导向作用主要表现在两个方面。一是实践效果评价方面。评价反映一定时代的职业教育教学价值观。这一价值观必然构成评价标准，制约着实验目标的确立和对实践效果的鉴定。例如，在我国职业教育教学实验的发展进程中，20世纪80年代上半期，职业教育教学的价值观很重视学生的技能发展。所以，那一个时期的教学实验大都把技能的形成与发展作为实验目标，而实践效果的评价也大都重视技能发展情况的鉴定。而自80年代末期以来，特别是近几年，职业教育教学的价值观很重视学生的职业能力、综合素质的发展。所以，近年来的职业教育的教学实验把学生的职业能力发展和综合素质的提高作为实验目标，而实践效果的评价也日益重视对学生职业能力和综合素质的鉴定。所以，评价对实验目标的确立、对实践效果的鉴定，具有导向作用。二是研究成果评价方面。评价反映一定时代评价者的理论探究兴趣、爱好和需要，这些价值因素制约着职教教学实验研究目标的确立和研究成果的鉴定。例如在20世纪80年代初，当时研究者们的兴趣大都在于鉴别单个教学变量之间的规律性关系。这一价值观对当时大量单因素或单项实验的发展起到了导向作用。职教教学实验的评价也大都从单纯的变量之间的规律性联系方面进行鉴别。到80年代后期，研究者们的兴趣转移到鉴别综合性教学变量之间的规律性关系，也就是鉴别多因多果、综合因综合果的关系。这一价值观对日益增多地发展起来的综合实验、整体实验起了导向作用。而人们对职教教学实验的评价也大都重视实验在多因多果、综合因综合果方面的鉴别作用。所以，一定时代的研究价值观必然体现在职教教学实验的评价标准上，从而对职教教学实验的研究目标的确立和效果的鉴定起着导向作用。

从上述两方面可以清楚地看出，职教教学实验的评价对职教教学实验的发展具有很强的导向作用，有什么样的评价观和评价标准，就会引发出什么样的职教教学实验。

（3）有助于职教教学实验的规范化、科学化

职教教学实验的规范化、科学化一方面靠实验工作者内在素质水平的提高，另一方面靠评价的制约与指导。评价在这其中扮演着“评论员”的角色。它可以利用科学的标准和方法对现实的职教教学实验进行分析，作出科学性方面的评判。就这一点来说，现实的发展还很不够，还没有形成良好的实验评价风气。对于实验的评价，大都是赞誉有余，评论、批评不足。此外，评价标准的构成，对职教教学实验具有指导作用。例如，在评价标准中有关于实验假说的内容，用以评价实验，必然使实验重视和使用实验假说。再如，在评价标准中有关于方案制订与论证的内容，用以评价实验，必然使实验重视实验方案的设计与论证。这些都有助于实验的规范化、科学化。

（二）职业教育教学实验评价的种类

职教教学实验评价的分类取决于分类的角度与标准。对职教教学实验评价可以从不同的角度和标准，进行不同的分类。我们从职教教学实验的实际情况出发，把职教教学实验的评价区分为如下几种。

1.背景评价

这是对职教教学实验的各项背景内容进行的综合性评价。包括实验的物质条件（职业学校的设备条件、实习场所）、精神条件（校长和教师的改革思想、改革意识等）、实验的构想与设计的合理性、可行性等。这一评价旨在确定实验是否可行、在多大程度上有成功的把握。所以，背景评价是一项实验能否实施的关键环节。

2.过程评价

这是在职教教学实验实施的各个环节、阶段上进行的评价，也是在职教教学实验结束后，回过头来对整个实验过程进行的评价。因此，是阶段评价与全过程评价的统一。阶段上的评价旨在鉴定各阶段完成的任务情况，发现新问题、新现象，及时予以解决，以确保实验按计划完成总体目标和任务。而总过程的评价旨在检查实验过程的合理性、科学性，为实验结果的评价提供参照和解释的依据。在过程评价中，往往能发现新的规律，新的联系，并加深对实验结果的认识。所以，对职教教学实验的评价，不能只看结果，不看过程。

3.结果评价

这是对职教教学实验最终结束时所取得的成果的评价。包括实践操作结果的评价和探索未知、发现规律的结果的评价。对于某些实验来说，尤其是较短期的实验，其效果是在最终结果中显现出来的，而对于某些实验来说，特别是周期较长的综合性实验，其效果在不同的阶段上已经显现出来，对于这类实验，其结果的评价应该包括阶段结果的评价。例如辽宁职教所开展的以3年为一个实验周期的借鉴德国“双元制”的职业教育实验，其最终结果待3年后才能获得。但是其结果评价不能等到3年后才进行，在不同阶段上（如：职业基础培训阶段、专业培训阶段）也可以进行结果评价。所以，不要一概而论、绝对化。但是，无论如何，结果评价包括实践效果和理论研究成果两个方面的评价，忽视和丢掉任何一个方面都是不全面的。

4.综合评价

这是对职教教学实验的背景、过程和结果进行的全面的综合的评价。这种评价是在前三种评价基础上进行的，是对三种评价结果进行利弊的对比分析，最终得出一个评价结论。综合评价所追求的是对实验总体效应的评判，对于某些细节往往不去计较，所以，它更适用于大型的综合实验的评价。

上述四种评价有着内在的联系，具有不可分割性。实际上，综合评价就是前三种评价的综合，没有前三种评价，就谈不上综合评价。而背景评价与过程评价、结果评价也有内在的依存性。没有预期结果的参照，背景评价就没有判断的依据；而过程评价则前连背景、后连结果，与前后两种评价不可分割。至于结果评价更离不开背景、过程评价的参照。所以，四种评价虽然在分类上可以各自独立，但实际操作起来，却具有整体性。

（三）职业教育教学实验评价的原则

职教教学实验评价是关系到一项实验的全局，甚至关系到整个职教教学实验发展的重要问题。因此，在职教教学实验的评价过程中必须遵循一定的原则。根据我们对职教教学实验及其评价本质的理解，结合我国职教教学实验中的典型，我们提出如下几条原则。

1.求真与求善统一的评价原则

培养高素质的职业人才，促进学生全面发展与个性发展同探索有关的职业教育教学规律、形成新的职业教育教学理论处在同一过程中。前者求善，后者求真，二者不可分割。如果没有求善，求真就失去了基础，也就失去了教学实验中的“教学性”；而如果没有求真，求善就失去了普遍性，也就失去了教学实验中的“实验性”。这两者的统一，决定着职教教学实验评价是求真与求善的统一。求真在于鉴定职教教学实验研究任务完成的情况，包括实验假说验证情况，有无发现新的规律，规律的表述与解释是否规范与合理，在理论上是否有创新，在应用操作上是否有广泛的普及推广性等。这些都是求真评价所包含的内容。而求善在于鉴定职教教学实验实践任务完成的情况，包括学生职业能力及综合素质的发展情况，班风校风变化情况，办学水平提高情况，教师自我提高情况等。这两个方面的评价是互为参照、互为依存的。没有其中任何一面，都不是全面的职教教学实验评价。

2.背景、过程与结果统一的评价原则

职教教学实验基本上是在现实的教学情境中进行的，而现实的教学情境是千差万别的。这表现在不同职业学校办学条件不同、教师水平不同、学生基础不同等方面。因此，同一自变量的实验，在不同条件的职业学校、班级中进行，其背景因素是不同的，必然对实验结果产生影响。所以，实验评价，尤其是不同班级、学校间的比较性评价，不能忽视背景因素的评价。在背景因素不利或不具备的情况下，没有产生预期的效果，这不一定是自变量自身的问题，而是背景因素的问题。因此，全面的评价，应该包括背景评价。

除了背景评价，职教教学实验评价还必须注意对实验过程的评价。在职教教学实验中，过程具有相对的独立性，因为操作程序的过程有很强的艺术性，并对实验结果产生很大的影响。同一自变量，例如一个新教材，由不同教学经验背景的教师使用，效果就不同。在使用过程中，教师对教材的处理、教学环节的安排、教学方法的选择等表现出艺术性、创造性的不同，因而造成结果不同。如果不问过程，只问结果，把因“过程”操作所产生的差异记在“教材”本身上，从而得出教材有效或无效的结论，那就不客观、不科学了。因此，评价一项实验，不应只看其结果，也应看其“过程”，包括实验实施的程序、程序中各个环节的操作、教师的经验情况、方法的选择情况、具体问题的处理情况等。对于这些情况一一进行评价可能是复杂的、困难的，但是，可以进行抽样，抓典型，进行分析。另外，只有参照或使用过程评价，了解其操作过程的情节和要求，才能对实验的结果做出客观的评价和解释。因而职教教学实验的评价，必须包括过程评价。过程评价除了过问自变量操作程序及教师学生的表现外，还要过问不同环节上实验研究任务完成的情况，包括经验总结、自变量效力分析判断、最终实验结论的可能趋向等，对于周期长的教学实验，更应重视这项工作。只有日积月累地一步一步地认识，才能最终得出科学结论。

对于一项职教教学实验的评价来说，结果的评价是自然而然的。实验进行得如何，最终要看结果如何。结果的评价一方面要根据实验目标来确定评价内容，鉴别实验目标完成的情况，另一方面还要注意实验的“副效应”的评价。“副效应”是实验目标之外的效果，有积极的，也有消极的。发现积极的“副效应”，可以在今后的推广实验中加以引发和促进；发现消极的“副效应”，可以在今后的实验中加以避免或者转化利用。

综上所述，职教教学实验评价应该做到背景评价、过程评价和结果评价相结合，把三者的评价综合为一个整体，得出综合性的、全面而客观的评价结果。这是一条基本原则。

3.客观方法与主观方法统一的评价原则

客观方法是指用实际的材料，如学生作业、行为、表现及成续等，来真实地反映实验情况的方法，包括观察、测量、档案及分析等。这种方法对于职教教学实验是十分必要的，而且要进一步重视和加强。同时，职教教学实验是师生参与的职教教学活动，人、事、物等各方面情况及其发展变化是复杂的，有些方面是很难用具体的观察、测量材料反映出来的。如：学生的思想品德、职业道德、个性以及人格方面的教学实验，其效果的反映往往不是某些具体测评材料、数据等所能做到的。对于这类实验的评价，除了用客观的方法外，更需要用主观的方法。主观方法包括实验者、研究者和其他的评价者的主观感受、体验、领悟等。实验者（包括教师与学生）是实验的实际操作者，对于实验的情况具有第一手的经验，他们的感受、体验往往更合乎实际；而研究者对于实验的设计意图、经过等了解较多，往往更懂得从哪些方面来衡量实验的成败。另外，评价者除了进行客观的观察、测量、分析外，还可以通过召开座谈会、个别访谈、现场参观等形式，直接感受实验的效果。这种感受可能形成不了系统的数据材料，但往往是更深刻、更真实的。这种看似主观的方法，往往更能得出客观的结论。所以，职教教学实验的评价，要力求做到客观方法与主观方法相结合、相统一，这样才能使职教教学实验的评价更科学，更合乎职教教学实验的本质特点。

（四）职业教育教学实验评价的标准与指标

1.职教教学实验评价的标准

（1）职教教学实验评价标准的意义。评价职教教学实验，必然以某种标准为准绳。没有标准，就无从进行评价。所以，标准对于职教教学实验的评价是至关重要的。它是全面地综合地评价一项职教教学实验的实践意义和研究意义所依据的绝对与相对、一致与多样统一的衡量尺度。

首先，评价标准是全面地综合地评价一项职业教育教学实验的标准。所谓“全面”，是指背景评价、过程评价、结果评价三方面的结合与统一，也就是在标准中要反映出三方面评价的衡量内容，所谓“综合”，是指背景评价、过程评价、结果评价的综合，不是三方面评价的简单相加，而是综合衡量。同时也是实践意义和研究意义两个方面的综合，即对两方面的意义进行分析、比较、评判。总而言之，职教教学实验的评价标准是全面的，不是单一的；是综合的衡量尺度，而不是个别的、机械相加的衡量尺度。

其次，评价标准是用来衡量职业教育教学实验的实践意义和研究意义的尺度。因此，在标准的内容里既包括有关职业教育教学实验的实践操作及其效果的构成，也包括有关职业教育教学实验的研究操作及其成果的构成。两个方面的构成都是操作与结果的结合，不是只看结果，不问背景与过程。

第三，评价标准是绝对与相对、一致与多样统一的衡量尺度。在评价标准中，某些必不可少的要素是绝对的，例如，反映“实验性”的要素，反映“教学性”的要素等，这些方面的评价标准是绝对的，因为失去这种“绝对”，就失去了职业教育教学实验及其评价的根本。同样，在评价标准中，某些构成因素又是相对的，例如，参照背景而确立的实验实践结果的评价标准，不同性质、目标和任务的实验所特有的评价标准等。不同实验背景下，实验效果可能不一样，背景好的，效果显著，成绩提高幅度大些，而背景差的，效果不太显著，成绩提高幅度则小些，这里的评价标准就应是相对的。关键是把握住实验是否比不实验好、是否有成效。一个恰当、合理的评价标准，对于职教教学实验的评价具有多方面的作用。主要表现如下。

①外抗干扰。职业教育教学实验在进行过程中，会受到外界干扰，只要它有了自身的评价标准，就有了一定之规，不受或少受干扰。

②内以导向。标准一旦确立，并为实验实际操作者和研究者所掌握，就可通过观念、意识、价值导向等途径和方式，对职业教育教学实验的实施与研究产生指导和调节，从而更好地调控职业教育教学实验的整个过程，使它健康地发展和提高。

③协调各方。职业教育教学实验的评价通常由不同的主体来实施，有行政领导，有专家，也有实际工作者。不同的评价主体的价值观与角度往往不同，必然发生分歧。有了一个标准，就有了共同语言，就可以把各方协调起来，求得评价结果的共识。当然，这里并不主张有了统一的标准，就可以使不同评价主体互相取代。事实上，即使使用一个标准，由不同主体去评价，也可以获得不同角度的信息，这有利于对职教教学实验做出全面公正的评价。所以，在统一标准下，由不同主体去进行评价也是必要的。因此，标准具有“协调”作用，而不是“统死”的作用。

（2）职业教育教学实验评价标准的若干方法论问题。研究制定职教教学实验评价的标准，涉及到一系列方法论问题，这些问题对各项标准的研制具有统整的作用。

①职教教学实验的效度问题

效度是职教教学实验评价中的一个重要问题，对于职教教学实验评价标准具有方法论指导意义。所以，制定职教教学实验评价的标准，必须弄清实验的效度问题。

实验效度是指实验的操作与结果有效的程度。它包括内部效度和外部效度。内部效度，是指实验结果能否完全归因于自变量影响的程度。它所反映的是实验的结论的精确性、科学性。外部效度，是指实验的结果是否可推论到实验之外的教学情境的程度。它所反映的是实验结果所代表的广泛性，适用范围的深远性。

实验的内外部效度对于职教教学实验评价标准的制定具有重要的意义。就实验的研究意义评价来说，一个重要的评价方面是看实验的结论是否确实和科学。而判断的依据就是看实验的结果是否是由实验的自变量（或叫改革措施）所产生的。这正是实验的内部效度。所以，内部效度是评价实验的结论是否科学的根据。要对实验的结论进行评价，必先考查其内部效度，获取确实可靠的信息资料。因此，了解和掌握实验内部效度的有关概念、鉴定方法与技术，对于职教教学实验评价标准的研究具有方法论的意义。不过，需要强调指出的是对于职教教学实验的效度，不能简单化、机械化。这是由职教教学实验的对象——职教教学的本性决定的。因为职业教育的教学效果大多是模糊的、长效的、后效的、随条件变化而变化的。某些教学措施，或实验自变量，如教学内容、教学方法、教学环境等，它们所引起、导致的结果，除了一些具体知识、技能等有限的领域以外，大多不能在短期内看得到，更不能精确地测量到，有的一时见效而在若干时间以后，在不同学生个体、身上表现出来的效果，不仅差异极大，而且会产生逆反效果。因此，要想真正符合实际地判定某种职教教学实验的效度，必须全面地考虑到各种相关因素及其发展变化，必须通过反复实验，不断检验。

就实验的实践意义评价来说，一个重要的评价方面是看实验的结果或结论是否可推广、应用于实验之外的学生和情境，也就是对其他的教学实践是否有用。这方面评价的依据就是看实验的结果或结论可推论、应用于实验之外的程度。这正是实验的外部效度。所以，外部效度是评价实验的可推广性、应用性的判据。因此，了解和掌握实验外部效度的有关概念、鉴定方法与技术，对于职教教学实验评价标准的制定同样具有方法论的意义。总而言之，实验的效度是制定职教教学实验评价标准的重要依据或基础。

②职教教学实验的预期效应和非预期效应

职教教学实验的预期效应是指职教教学实验目标中所计划产生的效应，也就是所要达到的实验目标。预期效应是评价的重要依据和内容。评价一项职教教学实验的成败，一个重要的衡量方面是看预期的效应是否产生，产生得是否理想。因此，了解实验目标及其预期效应，是研制职教教学实验评价标准的重要基础。在现实的职教教学实验评价中，关注目标的达成、预期效应的产生，是普遍易于做到的。但是，实验除了有预期的效应外，常常产生非预期的效应，也就是实验目标计划之外的效应，它往往具有多重性。有的非预期效应就是重大的发现。有的非预期效应可能是微小的、次要的。职教教学实验的评价标准不仅应包含预期效应的内容，也应包含非预期效应的内容。而且，与预期效应相比，非预期效应往往具有隐蔽性，不易于发现，所以，评价时更应给予格外关注。

③职教教学实验类型及其评价的模式问题

制定职教教学实验评价的标准，涉及到职教教学实验的类型及其评价模式。不同类型的职教教学实验，其评价模式不同。找到不同类型的实验的评价模式，对于职教教学实验评价标准的建立，是十分必要的。探索型的职教教学实验，其评价模式则重理论创新、实践突破，重实验的内部效度；而应用型的职教教学实验，其评价模式则重实践效果、理论验证和操作方法与技术的建立。这就使评价标准的内容不同。所以，研制职教教学实验的评价标准，必须了解和把握职教教学实验的类型及其评价模式，这也是一个重要的方法论问题。

（3）职教教学实验评价标准的结构。职教教学实验评价标准是由一系列相互依存、关联而又相互独立的成分构成的结构。找出必要的构成成分，并确立它们之间的相互关系，是制定职教教学实验评价标准的重要内容。根据我们对职教教学实验及其评价实质的理解，提出职教教学实验评价标准的结构由下列成分构成。

*实验背景评价的标准

①实验课题的评价标准

a.实验课题的必要性（实践的、理论的）；

b.实验课题的有效性（实验的自变量在多大程度上能产生因变量）；

c.实验课题的先进性（通过有关文献搜集与分析得出）；

d.实验课题的可行性（理论上合理、实践上可操作）。

②实验设计的评价标准

a.实验理论假设的科学性，包括理论依据、事实依据和经验依据方面；

b.实验的诸变量，如自变量、因变量、控制变量等，是否界定清楚，有操作定义；

c.实验是否选择了适当的设计模式；

d.实验实施与评价是否有了具体的可行的安排；(www.daowen.com)

e.实验各阶段上的目标、任务规定得是否明确与具体；

f.实验涉及的有关思想观念、专门的技术方法是否有系统的辅助说明或解释。

③实验条件的评价标准

a.实验是否获得有力的行政支持；

b.实验课题组构成是否合理、有力；

c.实验所需经费是否有保障；

d.实验是否获得了有关师生及家长的理解与支持；

e.实验所需的技术设备是否获得等。

*实验实施过程评价的标准

①实验教师在实验初始和过程之中是否进行了必要的培训；

②实验的操作程序、方式方法等是否合乎实验的要求；

③实验的各个环节或阶段上的实践任务和研究任务完成的情况；

④实验过程中是否发现了非预期性效应；

⑤实验的无关干扰变量是否得到了有效控制；

⑥实验过程中是否积累了有关的测试资料和阶段性总结材料。

*实验结果评价的标准

①实验目标达成情况的评价标准

a.学生有关方面发展的情况；

b.教师有关的素质是否有提高；

c.学校办学水平是否有提高；

d.是否发现了新的职教教学规律；

e.是否在理论上有创新；

f.实验是否对实验方法的改进与发展有贡献；

g.实验是否证实或证伪了假说；

h.实验对职教教学结构或模式是否进行了优化。

②实验效度的评价标准

a.实验内在效度所达到的值及其价值鉴定的情况；

b.根据实验的外部效度，对实验的推广价值鉴定的情况。

③实验的有关定量与定性描述的评价标准

a.有关定量描述的信度与效度所达到的值及其价值鉴定的情况；

b.有关定性描述的信度与效度所达到的值及其价值鉴定的情况。

④实验的非预期效应的评价标准

a.对非预期效应的性质的鉴定情况（是积极的还是消极的）；

b.对非预期效应的归因分析与鉴定情况；

c.对非预期效应的可推论性或所代表的广泛性的鉴定情况。

上述各项构成成分是一项职教教学实验的较为完整的评价标准体系。对于职教教学实验的不同方面不同时间进行的评价，如背景评价、过程评价和结果评价，可以从上述标准体系中选择相应的部分单独使用。当然，正如前面指出的，任何评价标准都是共性与个性、一致性与多样性的统一，具体制定和使用职教教学实验的评价标准时，可以进行灵活的变通和可行的创造，上述标准主要是提供一种参照。

2.职教教学实验评价的指标

（1）职教教学实验评价指标的意义。所谓指标，是指评价标准的具体化，它赋予了标准可操作可测评的意义。所以，职教教学实验的评价在有了标准之后，必须研究和制定指标。只有有了指标，评价才能切实可行地付诸实施。评价指标与评价标准有内在的一致性，同时又有一定的不同。标准规定着指标的实质内容和范围，而指标体现、反映并使标准具体化；标准是指标的依据，而指标是标准的操作化。

对于某些指标来说，其评价的具体测评规定，不一定非得是数字描述不可，也可以是等级的评定描述，例如，很高、较高、一般、不高、很低；或很好、较好、一般、不好、很差等。对于这种等级描述，最终可以进行综合判断，得出一个评价结果。也就是说，指标既可以是定量的，也可以是定性的。具体采用哪一种规定，可以因评价内容、标准的性质而定。

指标在职教教学实验评价中具有如下意义。

①使职教教学实验评价具体可行

指标使标准具体明确、可测评，因而使评价具体可行。对于同一条标准，不同的评价者可能因为价值观和理解的不同，而做出不同的评价判断，从而使具体的评价结果与评价标准的要求不一致，但是有了指标，评价者可以实际操作，保证实际测评与标准一致，就有可能避免这种不一致。

②有助于对整个实验的深刻理解和把握

评价指标的内容是整个实验内容的具体反映，因此，有了评价指标，就可以从更微观更具体的方面来了解和把握实验，加深对实验的认识。而这种认识和把握反过来又有助于对实验的各项指标做出价值判断。这就是透过指标来认识、把握实验，进而做出科学的评价。对于一项实验的评价往往需要从微观入手，达到整体的宏观把握，然后再从微观方面逐一评价。这是一条较为有效的评价规则。而从微观入手，则包括从了解和把握指标入手。所以，有了指标，不仅可以使评价更为具体可操作，而且可以使评价更全面、更合乎实际。

③有助于提高实验评价的信度

信度是衡量实验评价客观可靠的程度的指标。有了指标，不同评价者之间对评价标准的理解与把握就易于达成共识或一致，因而也能保持评价结果之间的一致性，这种一致性就是评价信度的保障。制定并使用合理的评价指标，有助于提高实验的评价信度。

（2）制定职教教学实验评价指标的原则。研制职教教学实验评价指标是一项复杂的工作，必须遵循一定的原则。

①与标准的一致性。指标是评价标准的具体化，所以，它在本质上与标准是一致的。因而，指标是根据标准来制定的，不是在标准之外再罗列指标。这样就要求在研制指标时，要充分地全面地来了解和把握评价的标准，掌握其精神实质和内容范围。只有与评价标准一致的指标，才是具有评价效力的指标。

②可测评性。指标是用来直接测评的工具，所以它必须具有可测评性。测评包括测量和评定两个方面。前者以量化为主，后者以定性为主。也就是说，所研制出来的指标直接可以用来测量或定性描述，是可操作的。这就要求对指标中的各种定量评价量值或定性评定层次、等级的规定科学而明确。科学就是要使用科学的方法，按照合理的逻辑来确定；明确应是具体、明白而又确定，而不是含含糊糊、模棱两可。

③系统性。指标是根据标准而设计出来的一种体系，有时称为指标体系。这表明指标具有系统性的要求。各个指标不是孤立的、分离的，而是相互联系的。它们是按照评价标准的逻辑而产生的，不是随意加进或减去的。它们共同构成一个评价指标整体。指标制定的系统性原则，既确保着各个评价指标项目之间的逻辑联系，又支撑着全部评价指标项目的整体性。

（五）职教教学实验评价的程序与方法

职教教学实验的评价是一项严肃的科学活动，有着内在的实施程序和特有的方法。在评价的不同程序阶段上，评价的目的、任务不同，所以涉及的方法也不同。

一般来说，职教教学实验评价的程序包括如下步骤或环节，并涉及相应的评价方法。

1.制定评价方案

由于评价是一项系统的研究与实践活动，所以，在进行之前，必须先制定好评价的方案。这是职教教学实验评价程序上的一个重要环节。方案决非是可有可无的文字材料，它反映着评价者的价值观、思维方式和评价水平，对整个评价活动起着导向和规范的作用。制定方案涉及的内容主要有：了解和把握实验的性质、目标、类型、过程，以及大致背景；确定评价的内容、类型和相应的方法；准备好实验评价所需要的各种条件；拟定实施的基本步骤，等等。这些内容都必须通过规范的文字清楚表达出来，并落到实处。

在制定评价方案时容易出现的问题是评价的目标、标准和内容等与实验自身的性质、目标和类型不符，从而导致方案脱离实际，不能落实。例如，对于一项单因素实验的评价，采用综合性或整体性评价方案，这就不合实际，在实际操作过程中，就会出现过多或过高的评价要求，以致于求全责备。在制定评价方案时，一定要“对症下药”，不能盲目进行，更不能长官意志，想评什么就评什么，想怎么评就怎么评。对方案的制定与使用，要持科学的态度。

2.搜集评价资料

评价需要以事实为依据，而实验的事实则是通过有关的资料来体现的。资料既可以是量化的数据，也可以是定性的描述，但都是反映了实验的客观事实。搜集评价资料的方法包括测验、问卷调查、访谈调查、会议调查、观察、查阅教案和学生作业及平时考试成绩等。在搜集评价资料时要处理好以下两个方面的问题。

（1）关于标准化测量工具与自制测量工具的关系。随着测量科学与技术的发展，尤其是国外心理测量工具的引进与影响，在教学评价中存在着一种倾向，即惟标准化独尊，认为只有使用标准化测量工具进行的测验、调查，才是科学的，而学校、教师自制的测量工具被认为是不科学的。实际上，任何职教教学实验都有自己独特的目标、任务和操作要求。这些独特方面，是任何标准化的工具所不能反映和衡量的。所以，对于实验的独特方面的评价，就需要自制一些测量工具，这是任何实验评价都离不开的。标准化测量工具是不可能完全代替自制测量工具。对于标准化测量工具与自制测量工具的关系，应该持实事求是的态度，根据实际需要与可能进行选择和使用。

（2）关于群体资料与个体资料的关系。随着测验、考试这样的搜集资料方法的改进和广泛使用，职教教学实验评价也多重视使用群体资料，例如全班成绩，全校成绩等。而个体资料，包括典型行为表现、作业表现、档案记录等，则较少受到重视，认为缺乏代表性。这是一种片面的倾向。在职教教学实验的评价中，群体资料与个体资料是一般与个别的辩证关系。群体资料是必要的，因为它有代表性，但另一方面，由于群体资料是通过适用于群体的测验或考试获得的，其测验或考试的内容项目所着眼的是群体的“共性”而非“个性”，这样所搜集的群体资料必然是属于一般的共性的，而个人的或个性的资料则被漏掉了。我们评价一项职教教学实验，要达到全面、公正，仅仅使用群体资料是不够的，还必须注意搜集和使用个体资料，尤其是典型的突出的个体资料。个体资料首先反映了个体的或个性的一面，这是群体资料所缺乏的。其次，它往往也具有广泛的代表性。在个别学生身上获得的资料有可能代表了其他学生，只是其他学生身上的资料没有被发现和搜集出来而已。因此，个体资料不仅是全面反映实验个体效应所必需的，也是全面反映实验群体效应所必需的。所以，在评价中，我们应重视这两种资料的搜集与使用。

3.分析处理评价资料

在搜集到有关的评价资料后，需要对这些资料进行必要的分析处理。这包括对数据的统计处理和对定性描述的分析处理。在分析处理评价资料时应注意和把握如下两个基本问题。

（1）资料处理中的精确性与模糊性的关系。职业教育教学实验的变量既具有精确性，又具有模糊性。对于某些变量来说，如知识、智力、感知觉等，精确的一面表现突出一些；而对于某些变量来说，如品德、价值观、人格和个性等，模糊性的一面表现则突出一些。对于前一些变量，可以强调资料处理的精确性，而对于后一些变量，可以强调资料处理的模糊性。这种精确与模糊的辩证统一，客观地反映了职教教学实验的实际。

（2）资料处理中的标准性与常规性的关系。在评价资料数据的处理中，标准性是指按照现代统计学的有关理论和技术方法，对原始数据资料进行有关的处理，以获得标准性的数据结果，例如标准分、标准差、显著性检验、方差分析等，这些处理可以被视为标准性的处理。而常规性是指按照常规的做法，对原始数据资料进行有关的处理，以获得常规性的数据结果，例如总分、平均分等，这些处理可以被视为常规性的处理。一般来说，职教教学实验评价，应该尽可能地使用标准性处理的数据，因为它以更高的质量反映了实验的实际情况。但是，在现实的职教教学实验评价中，尤其是由学校、行政部门所进行的评价，或者因为不了解有关的处理技术方法，或者因为缺乏处理的各种条件，不能做到对资料的标准性处理。在这种情况下，常规的处理也并非不可。我们认为，在职教教学实验评价中，应该提倡标准性处理，尤其是有条件的评价，但也允许常规性处理的存在，二者并存、相容。

4.总结评价资料

总结包括两个方面：一是归类总结，就是把分析处理的评价资料分门别类，整理成系统，例如实践效果的资料系统，研究成果的资料系统，预期效果的资料系统等。二是价值判断，资料本身并不自然有价值意义，价值意义是评价者依据标准确定的。

对于归类总结，有许多可选择的评价方法，如：分析法，综合法，对比法，参照法等；对于价值判断，也有许多的评价方法，如：认可法，绝对法，相对法，内差异法等。在对评价资料进行总结时要坚持两项基本原则。

首先，要坚持价值判断与资料数据的统一。按照数据所达到的水平，做出价值判断。即实事求是，客观、公正，不掩饰，不夸大。这一原则，对于现时的职教教学实验评价是非常必要的。因为在现实的职教实验的评价过程中，存在着一种不良风气，不以事实为依据，盲目地、主观地夸大效果，过度判断。

其次，坚持判断与分析说明的统一。判断就是对数据事实的意义做出结论。例如“效果显著”、“比较成功”、“关系密切”等等，这些都是判断。而分析说明则是对判断的结论进行某些分析性的解释。例如判断“自变量对因变量影响效果显著”，这是一个结论，而分析则对“为什么”做出回答，即解释“自变量为什么对因变量影响效果显著呢？”把其中的机理、奥秘揭示出来。对于实验评价的总结来说，最难的是分析说明。它既要揭示奥秘，又不能展开论证。判断，是从数据差别直观上得出结论，这比较容易。分析则并不是直观的，而是深层的挖掘和剖析，这是不容易做好的，这取决于评价总结者的经验水平和理论素养。所以，评价者要真正做出一项高水平的实验评价，除了了解实验自身的情况外，尤须对实验所涉及的有关理论应有较深的了解，只有这样，才能做到有判断，有分析，知其然，亦知其所以然。

5.撰写评价报告

评价报告以规范的文字和系统的结构反映评价的全部情况，主要包括如下内容：评价的目的、方法和基本过程；评价的基本结论，包括实践效果结论，研究成果结论，预期效果结论，非预期效果结论以及对各项结论的分析解释；对实验自身改进与发展以及传播推广的建议等。撰写评价报告要做到既规范标准，又简洁易懂；既系统完整，又重点突出，详略得当，避免流于形式；既有理论的表达与构建，又有操作要领、方法的说明，使实验的理论与操作实践相统一。良好的评价最终要通过评价报告来反映，所以，评价者必须重视报告的撰写。