访谈统计的主要指标有:访谈时间、访谈文本字数、各个胜任特征出现的频次、等级分数、平均分数和最高等级分数等。
首先,对两位编码者的编码一致性进行统计检验,来考察编码的可靠程度,使用归类一致性系数和Pearson相关系数(计算2位编码者在各胜任特征频次、平均等级分和最高等级分数上的相关)。
其次,统计绩优组和普通组访谈对象在访谈长度(字数)上没有差异,以保证二者在胜任特征上的统计差异并不是由长度造成的。
再次,检验各访谈统计指标的有效性,选择其中最为稳定的指标来进行胜任特征差异的显著性检验。
最后,进行二组访谈对象在各胜任特征上的差异检验。
表4-6 访谈得到的胜任特征和定义
(1)访谈信度分析
编码者对访谈文本独立编码结果的一致性程度,影响着胜任力研究结果是否客观、可靠,编码者对访谈文本的编码一致性越高,则对胜任力的区分会越准确。本文使用归类一致性系数和Pearson相关系数来考察访谈文本编码的一致性程度。
①归类一致性分析。归类一致性(Category Agreement,CA)是指评分者之间对相同访谈资料的编码归类相同的个数占编码总个数的百分比,计算公式是:CA=nS/(T1+T2+……+Tn)。
其中的S表示编码者编码归类相同的个数,T1表示编码者甲的编码个数,T2表示编码者乙的编码个数,依此类推,如果有N个编码者,则Tn表示编码者N的编码个数。
本次研究中,有两位编码者,因此CA=2S/(T1+T2),2位编码者对于25名访谈对象的编码归类一致性系数从0.361到0.732,总的归类一致性系数为0.59。
从以往研究来看,归类一致性这个指标对编码信度要求最为严格,本次研究数值是可以接受的,表明两位编码者的一致性程度较高(徐建平,2004)。
②皮尔逊相关系数。BEI访谈数据的统计指标有访谈时间、文本字数、胜任特征频次、总频次、等级分数、平均等级分数和最高等级分数。比如,某访谈对象“成就导向”这一特征的具体行为表现为:1级3次,2级4次,3级1次,4级2次,则该胜任特征的总频次为10,平均等级分为2.2分,最高等级分为8分。
采用相关系数法进一步检验编码一致性,分别计算两个编码者对每个被试胜任特征编码的频次、平均等级分数、最高等级分数的Pearson相关系数。频次的相关系数除了在“积极主动”“影响力”和“分析与计划能力”上相关系数没有达到显著性水平,其它相关均为显著;平均等级分数除了在“积极主动”和“影响力”上的相关系数没有达到显著性水平外,在其它胜任特征上相关系数均达到显著水平;最高等级分只有在“积极主动”“组织认知与规则顺应”和“弹性”上相关系数没有达到显著性水平。说明两编码者的编码一致性较高,如表4-7所示。
归类一致性分析和相关系数法的结果表明,两名编码者一致性良好,符合心理测量学要求,反映出编码者能够准确区分两组被试,能够准确地运用胜任特征评价法提取行为指标。这为使用BEI方法辨别企业员工胜任特征及其相关行为提供了支持,保证了研究数据的信度,适合进行下一步分析。
表4-7 两名编码者在胜任特征发生频次、平均分、最高等级分数上的相关
(www.daowen.com)
注:*表示在0.05水平上差异显著,**表示在0.01水平上差异显著,下同。
(2)访谈长度(字数)与访谈时间分析(优秀组和普通组的T检验)
根据行为事件访谈长度的一般要求,McClelland认为,对每位被访者的访谈时间应在1-3小时(Sheperd et al.,1995),录音整理成中文文本的长度大于10000字(时勘等,2002),所得数据能够比较稳定地反映样本水平。
本次研究优秀组和普通组平均访谈字数分别为12368字和10408字,平均时间分别为5307秒和5294秒,基本符合上述要求。优秀组和普通组的访谈长度t检验结果表明,两组在访谈字数(t=.626,p=.486)和访谈时间(t=.033,p=.318)上没有显著性差异,见表4-8。因此,如果优秀组与一般组在胜任特征上表现出差异,不是由于访谈长度引起的。
表4-8 绩优组和普通组访谈长度比较
(3)访谈指标的有效性检验
对BEI法得到的胜任特征有三种计分指标:胜任特征的出现频次、最高等级得分和平均得分。一般来说,要在这三种计分指标中选择稳定的一种,来进行胜任特征在绩优组和普通组上的差异检验。本次研究中,采用三种计分指标和访谈长度(字数)的相关分析来决定哪种指标更稳定和更适合。
表4-9 胜任特征出现频次、最高等级得分、平均得分和访谈长度(字数)的相关
结果表明,有两项胜任特征的频次分和访谈长度相关显著;有两项胜任特征的最高等级得分和访谈长度相关显著,也较稳定;只有一项胜任特征的平均得分和访谈长度相关显著,相对而言,平均得分较不受访谈长度的影响,更为稳定,Hay公司的研究采用了频次、等级分、最高分三个统计分析指标,其中平均等级分最优,其他研究者也有相同结论(Spencer,1993;时勘,2002;徐建平,2006),因此将在后面研究中采用平均得分进行胜任特征差异检验,见表4-9。
(4)绩优组和普通组的胜任特征差异检验
根据访谈指标的有效性检验结果,胜任力的平均得分、最高等级分、频次分中,平均得分受访谈长度影响最小,最为稳定,因此使用平均得分进行差异检验,比较绩优组和普通组在每个胜任特征上平均分之间的差异,结果见表4-10。
表4-10 优秀组和普通组胜任特征的t检验
注:**表示在.01水平上差异显著,*表示在.05水平上差异显著,*表示在.10水平上差异显著。
在14项胜任特征中,两个组在“积极主动”“创新”“学习能力”“关系建立”“分析和计划”和“成就导向”等6项胜任特征间的差异有统计学意义,在“沟通协调”上在.05水平上的差异接近显著。其他7项胜任特征在两个组上的差异无统计学意义,但优秀组明显高于普通组,即优秀组有更高的正向得分。鉴于样本量有限,使得统计分析达到显著性差异的难度增大,由此可能低估实际的差异。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。