根据预试结果，对问卷框架、问题内容、问题排列方式等加以改进，形成最终问卷。

1.对框架的修订

对框架的修订通常是先对问卷的信度和效度进行分析，以确保问卷的准确性和可靠性。

（1）信度（克隆巴赫系数）分析。

对问卷的信度分析通常就是对问卷内部一致性的分析，包括整体内部一致性信度和各维度内部一致性信度。

《四川省基础教育学业质量监测工具质量评价规范》中对问卷信度水平的规定是：整卷的克隆巴赫系数大于0.65就可以用于评价和预测，可靠性较高，大于0.85为高信度指标。各维度的克隆巴赫系数大于0.60就可以用于评价和预测，可靠性较高，大于0.75为高信度指标。

表3-24　泸州市中小学教育质量综合评价改革教师问卷框架信度分析

修订问卷的可靠性一般有两种方法。第一种是以相同或稍微改变的形式在问卷的不同部分再次提出该问题，产生相同信息，这是对一致性的检查。第二种更好的方法叫作重测信度，是在几天后向同一组人员重新测试并比较所获得的结果，并计算两次施测应答之间的关系强度的相关系数。（2）效度（因子分析）分析。

效度分析主要是对问卷的结构效度进行探索性分析，根据原始框架对问卷的各个题目进行计算，得出载荷，根据载荷与原始框架进行比较，用测量结果来证明框架的有效性，如果有的题目载荷差异太大，可以改变在框架中的维度或进行问题修改。

【示例】

泸州市中小学教育质量综合评价改革教师问卷效度分析案例。

表3-25　整卷效度分析

表3-26　各题目载荷分析

续表(www.daowen.com)

本次调查问卷质量分析表明，除第1题载荷较小外，其他各题及维度的效度指标都到达大规模调查的较高要求，可用于数据分析。

2.对问题的修订

对具体问题的修订可以从信度方面入手，以Kappa系数为技术指标。也常见于用t检验分析问题的高低组在题项上的差异。

（1）信度指标分析法。

具体操作方法如下例所示。

【示例】

表3-27　项目的Kappa系数

虽然关于性别问题的Kappa系数似乎很高（0.98），但是对于这样一个问题，在调查问卷中的期待值应该为1。因此上面的Kappa系数虽然为0.98，但是意味着与期望值1还有差异，因此还需要通过更仔细的检查来提高其达成值。第二个问题的系数相对较低，表明对这个年龄的孩子收集相关信息，可能需要增加多个类似的问题，采集多个数据，来提高可靠性。

试验数据的分析也应重点关注每个变量的作答频率分布。频率可用于消除或修改产生异常作答分布的问题。应检查不作答或不知情的答复率，特别是人数比例超过样本5%的项目。这种高比例通常表示问卷中的项目仍然存在不足之处或对学生而言仍会产生歧义。如果出现问题的项目是监测所需要收集的关键变量，则可能需要再进一步的开发问题。随着问题发生变化，通常需要再次对问卷进行测试。

（2）t检验分析法。

该方法主要对数据清理后的问题进行高低分组，对每个题项在高低组上进行t检验，对检验结构进行分析。具体操作首先看方差相等的Levene检验的显著性，以0.05为标准，如果显著性小于0.05，则说明数据有显著差异。然后，看t检验的第二排中的方差非齐性条件下的数据，在第一排中如果显著性小于0.05，说明该试题具有较强的鉴别力，能够区分不同的被试反应程度，该题项可用。

如果方差相等的Levene检验的显著性大于0.05，就需要看t检验的第一排中的方差齐性条件下的数据，此时判断标准仍然以0.05为显著性指标，如果大于0.05，说明该题目鉴别力差，需要进行修改或删除。