理论教育 学术影响力测评工具和实践方法

学术影响力测评工具和实践方法

时间:2023-10-06 理论教育 版权反馈
【摘要】:Leydesdorff和Persson提供了一个全面的综述和几种方法及软件包的用户指南,这些免费软件包能够在地图上对直到2010年的研究活动进行可视化。Bornmann和Leydesdorff的方法是使用统计量Z测试值,即特定城市高被引论文的观测比例与预期比例进行比较。在地图上,各机构的位置用彩色圆圈表示。Bornmann和Waltman使用一种稍微不同的方法,他们基于热图来绘制卓越区。

学术影响力测评工具和实践方法

除了空间科学计量学领域的实证性贡献外,越来越多的学者关注用于空间科学计量可视化分析的工具和方法的进展。随着科学图谱的研究越来越受关注以及学术组织创建开源研究工具的趋势,大部分分析工具都是可以免费获取的,并且已经发表在一些出版物上了。

Leydesdorff和Persson(2010)提供了一个全面的综述和几种方法及软件包的用户指南,这些免费软件包能够在地图上对直到2010年的研究活动进行可视化。他们特别关注了在出版物作者所属地址的基础上创建可视化的合作和引文网络。在该综述中,他们介绍了CiteSpace、Google Maps、Google Earth、GPS Visualizer和Pajek在可视化方面的优缺点。并且提供了一个在城市层面上处理源自WoS和Scopus出版数据的作者从属地址的可视化软件。该软件已在过去几年中被改善,获取网址为http://www.leydesdorff.net/software.htm。

在研究网络的可视化方面,Bornmann等人(2011)重点关注出版物、城市和区域引用数的地理图。他们从Scopus中提取一个特定研究领域所有的高被引论文,使用Google Maps开发一种方法来绘制“优秀的城市和地区”。在地理图中,一个城市的百分等级,作为其对高被引论文总集合贡献的基数,图是由不同半径(高被引论文的频率)的圆和颜色(城市等级)来可视化的。包括这个可视化工具用户指南的具体过程可在网络获取[3]

Bornmann等(2011)的方法有一个缺点,即它可视化的是特定城市高被引论文的绝对数量,而没有归一化该城市的出版物总量。Bornmann和Leydesdorff(2011)的方法是使用统计量Z测试值,即特定城市高被引论文的观测比例与预期比例进行比较。“卓越”可以被定义为这样的城市,即拥有发表了明显高于预期的高被引论文的作者的城市(Bornmann,Leydesdorff,2011)。在Bornmann(2011)等人的研究中,作者用了类似的方法来建立三个研究领域(物理、化学和心理学)的“卓越”的地理图。由于高产量城市不一定有不成比例的高被引论文,该图证实了归一化的附加价值。Bornmann和Leydesdorff(2012)使用的综合影响指标(I3)替代了归一化的引用率。另一个改进是他们纠正了出版年的观测引用率。

使用以上可视化方法的研究者应该知道,在Bornmann等人(2011)的研究中广泛讨论到的注意事项。由于其他不精确的地理坐标定位或不完整的作者地址信息,可能会出现可视化错误。因此,创建地理图应该手动地进行仔细检查。

基于上述贡献,Bornmann、Stefaner、de Moya Anegón、Mutz(2014a)引入了一个新的Web应用程序(www.excellencemap ping.net),可以在地理图上将在特定领域经常发表高被引文献的学术机构可视化。基本方法是基于多层次模型,模型考虑了出版物层面的数据(如:在一个特定机构一篇特定论文是否属于前10%高被引)以及学术机构层面的数据(一个机构的多少论文属于高被引前10%)。使用这种方法,科学领域发表量前10%的顶级研究者就被可视化显示出来了。在地图上,各机构的位置用彩色圆圈表示。Web应用程序可以为该圆圈选择有关机构的更多信息。在Bornmann、Stefaner、de Moya Anegon和Mutz(2014b)的研究中,通过添加对机构绩效影响的协变量(如一个机构所在国家的居民数)使得Web应用程序性能进一步增强。使用这个方法,假设问题中的所有机构都有相同的协变量值,我们就可以可视化机构绩效。例如,一旦相对较低的国内生产总值被控制时,性能很好的机构便可以被可视化。在未来的几年里,科学工具有望进一步发展。

Bornmann和Waltman(2011)使用一种稍微不同的方法,他们基于热图来绘制卓越区。他们提出的计量图可视化应用使用了VOSviewer软件绘制的密度图(Van Eck,Waltman,2010)。绘图指南由http://www.ludowaltman.nl/density_map/提供。总之,热图的形成依赖于出版活动地理坐标的核密度估值和用于平滑的核宽(公里)的规格。研究成果可视化是针对区域而不是个别城市,特别是当高影响力的出版活动的城市集彼此靠近时。生成的密度地图显示了英国南部、荷兰/比利时、西德、瑞士北部的集群。

Persson和Ellegård(2012)探索了一种完全不同的计量数据可视化方法。其灵感来自1955年由Thorsten Hägerstrand最初提出的时间地理理论,他们引用Thorsten Hägerstrand的研究重建了科学出版物的时间—空间路径。出版结果绘制在二维图中,纵轴表示时间(年),横轴表示空间(经度),路径在时空位置图中表示论文间的引用关系。☞

总结

显然,对于使用空间科学计量数据来分析科研活动空间因素的关注度在不断上升。本章特别关注了学术影响方面的贡献,发现了大量的论文。而以前的研究大多集中于国家层面,现在许多科学计量学的研究考虑了地区和城市的层面。更重要的是,在分析关系型数据时,以千米计量的距离越来越多地被考虑作为学术影响的决定因素。空间科学计量学论文的研究设计也比早期的论文更详尽,有理论驱动假设和多元回归设置。在数据的自动生成及地理图的可视化方面也取得了进展。说到这里,我们确定了以下一些研究方向,以弥补现有研究在理论、主题、方法和数据来源上的差距。(www.daowen.com)

小推论:值得注意的是,许多研究是从假设而不是数据开始的。然而,通常假设是从一般理论概念得来的,而不是从科学实践的具体理论中来的。事实上,空间科学计量学很少参考经济学地理学和技术研究的理论,这些可以说是最接近空间计量的领域。相反,到目前为止,更多的理论思想研究人员还表示对发展科学地理方面更具体的理论不感兴趣(Frenken,2010)。显然,在空间科学计量学的研究阶段,更多理论和实证之间的互动较受欢迎。第一种可能是,考虑来自网络科学的理论,包括“距离框架”和社会网络分析,这种理论是为了解释科研合作网络的形成及其对学术影响力的影响(Frenken et al.,2009)。第二种可能是,恢复科学和技术研究之间的联系,充分显示出科学和科学出版物更多战略和话语方面的联系(Frenken,2010)。第三种可能是,现代经济地理学提供了先进的分散理论,具体来说,在知识生产中知识溢出的资源可能构成集群利益的基础(Breschi,Lissoni,2009;Scherngell,2014)。此外,进化理论可能对在科学地理图的长期动态性分析是有用的,包括新字段在哪里出现、在什么条件下中心会失去优势等问题(Boschma et al.,2014;Heimeriks,Boschma,2014)。但是,进一步详细讨论这种可能性已超出本章的目的和范围。

自我选择作为一种方法上的挑战(Self-selection as methodo logical challenge):正如被重复强调的,在研究者学术影响力的地理影响效果评价中的主要问题(如流动性或远距离协作)来自自我选择。只要他们寻找更加专业和先进的知识,我们就可以预料到更多有才华的研究者们往往会有更多的国际化导向。因此,国际化对绩效的积极影响可能不能反映,或只能说部分地反映所谓的源自国际合作的好处。我们强调在国际流动(Jonkers,Cruz-Castro,2013)和国际合作(Kato,Ando,2013)情况下处理自我选择的一些最新尝试。很明显,这个方向还可以做更多的研究。

流动性是一个未开发的主题:尽管科学流动性对于塑造空间科学体系非常重要,这方面的研究尚未成熟。尽管我们知道有一些论文涉及这一主题(例如:Jonkers,Cruz-Castro,2013;Trippl,2013),但论文总数较低,而大多数的论文只注重理论而不是实证问题。造成这种状态的原因之一是仅根据科学出版物信息来消除有歧义的作者姓名是很困难的。在这些情况下面临的挑战是要确定不同出版物中相同或相似的作者姓名是否指同一研究员,概述请参见:Smalheiser和Torvik(2009)。所以说,由于大量的、只共用几个姓氏的中国学者,如张、陈、李(Tang,Walsh,2010),使得消除歧义更加困难。为了解决这个问题,学者们已着手开发工具和方法来解决消除歧义的问题。最近就有很多这样的研究,例如,Tang、Walsh(2010),D'Angelo、Giuffrida、Abramo(2011),Onodera等(2011),Wang等(2012),Wu、Ding(2013)。大部分现有研究都提出依靠外部信息的必要性(例如姓名列表),从其他资源中获取信息能更好地消歧或补充计量数据中的信息(例如调查、简历)。作者姓名消歧问题和方法的概述,请参阅第7章。

数据资源的依赖性:所有的空间科学计量学分析都依赖于正被使用的数据源。值得注意的是Web of Science和Scopus所涵盖的期刊集是有差异的,Scopus声称包含更多“区域”的期刊。此外,文献计量学数据库的覆盖范围会随着时间而变化,这可能会对纵向分析研究活动造成影响。一个例子就是前面提到的中国出版量增加的预测。Leydesdorff(2012)认为,在中国的出版量增长预测这方面,Scopus和Web of Science数据库的分析是相当不同的。Basu(2010)还注意到某一特定国家被索引期刊的数量和那个国家的出版物之间存在强关联关系。其他一些著名的论文也把焦点放在这个主题上,包括Rodrigues、Abadal(2014),Shelton、Foland、Gorelskyy(2009),以及Collazo-Reyes(2014)。由于学院学术产量的变化或期刊空间覆盖产量的变化有偏差,所以深入研究的一个挑战是区分在特定的空间单元的出版量的变化。根据Martin和Irvine(1983)以及Leydesdorff(2012)的研究,我们建议依托“部分指标”,当它们使用一些数据库表示相同的趋势和结果时,结果会变得更可靠。

备选的数据源:最后,我们综述的不足是只专注于空间科学计量学论文的学术影响力和利用了空间信息的论文,因为它们可以从个人出版物中检索到。Frenken等(2009)指出其他一些分析科研活动空间因素的主题,包括合作研究的空间分析、新研究领域的出现。此外,除了出版数据,还有其他的大型数据集用于分析科学的空间因素,不仅仅包括框架项目数据(Autant-Bernard,Billand,Frachisse,Massard,2007;Scherngell,Barber,2009)和学生流动性研究(Maggioni,Uberti,2009)。由于篇幅的限制,我们无法综述所有的文献。然而,在执行科学计量学文献的系统搜索时,我们发现了一些创新性的研究主题,如编委会空间因素(Baski,Ferenc,2013;García-Carpintero,Granadino,Plaza,2010;Schubert,Sooryamoorthy,2010)、研究成果(Fanelli,2012)、作者关系(Hoekman,Frenken,de Zeeuw,Heerspink,2012)、期刊的语种(Bajerski,2011;Kirchik,Gingras,Larivière,2012)和期刊的国际化(Calver,Wardell-Johnson,Bradley,Taplin,2010;He,Liu,2009;Kao,2009)。他们为空间科学计量学论文提供了很多有用的补充。

【注释】

[1]K.Frenken,Innovation Studies,Copernicus Institute for Sustainable Development,Utrecht University,Utrecht,The Netherlands,E-mail:k.frenken@uu.nl;J.Hoekman,Department of Pharmaceutical Sciences and Innovation Studies,Copernicus Institute for Sustainable Development,Utrecht University,Utrecht,The Netherlands,E-mail:j.hoekman@uu.nl.

[2]Document type=Article;Indexes=SCI-EXPANDED,SSCI,A&HCI,CPCI-S,CPCI-SSH;Timespan=2009—2014。

[3]http://www.leydesdorff.net/mapping_excellence/index.htm。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈