理论教育 数据分析:利用元分析方法评估研究发表偏差的风险

数据分析:利用元分析方法评估研究发表偏差的风险

时间:2023-06-01 理论教育 版权反馈
【摘要】:本书采用Hunter and Schmidt提出的元分析方法对36篇筛选出的文献进行定量分析。为了估计发表偏差的风险,本书引入失效安全数来估计需要多少个有无效结果的研究才能使元分析的结果发生逆转。失效安全数越大,说明元分析的结果越稳定,结论被推翻的可能性就越小。

数据分析:利用元分析方法评估研究发表偏差的风险

本书采用Hunter and Schmidt(2004)提出的元分析方法对36篇筛选出的文献进行定量分析。具体的分析过程如下。

(1)计算相关效应值

首先,提取各原始文献中各变量的汇报结果,并统一转换为普遍运用的效果量——Pearson相关系数r;其次,为了将样本相关系数的分布调整为正态分布,参照Hunter and Schmidt(2004)的公式:

把66个样本相关系数转换为Fisher΄Z值;最后,考虑到不同研究的样本量大小不会直接影响到结论的可靠性,因此需要对66个效果量基于样本量赋予权重,然后,将Fisher΄Z值进行加权平均转换为相关系数,作为总体的效应值。依据Hunter and Schmidt(2004)的方法,计算每个相关系数的权重,计算公式如下:

其中,N为样本数量。

(2)发表偏倚程度分析

由于结果不显著的研究成果被发表的概率较低,我们筛选的文献得到的大多为显著的结论,因而元分析可能存在“发表偏差”,在解释元分析结果时,应该充分考虑这种“文件抽屉效应”(File drawer effect)。为了估计发表偏差的风险,本书引入失效安全数来估计需要多少个有无效结果的研究才能使元分析的结果发生逆转。失效安全数越大,说明元分析的结果越稳定,结论被推翻的可能性就越小。根据McDaniel(2006)等学者的观点,“文件抽屉”的容忍上限为(5K+10),其中K是研究的数量,当失效安全数高于(5K+10),说明元分析的结论被推翻的可能性较低,反之则可以认为存在发表偏差的风险较高。(www.daowen.com)

(3)对相关研究结果进行同质性检验,并根据同质性检验结果选择相应模型对各变量与组织间学习的主效应进行检验

要判断从文献中提取的所有效应值是否来自相同的总体,就必须对效应值的同质性进行检验。同质性检验的重要指标是Q值,其中Q值服从df=K-1的卡方分布,K为效应值的数量。Q值的显著性水平反映了效应值之间的同质性程度。Q值若显著,则表示拒绝同质性的零假设,应采用随机效应模型,反之则采用固定效应模型。

主效应的检验主要通过考察各影响变量与组织间学习的效应值(本书采用Pearson相关系数r)、Fisher΄Z值的p检验显著性水平和效应值得95%置信区间来综合判断。一般而言,p<0.1且r的95%置信区间不包含0,可以认为变量之间存在显著的相关性。

(4)检验研究视角变量的调节作用

根据样本文献的研究视角编码对文献进行分组,检验文献的研究视角属性对各变量与组织间学习关系的影响,检验方法类似于主效应检验,先进行同质性检验,根据检验结果选择合适的模型进行效应值分析。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈