从20世纪80年代开始,众多学者在国际性学术期刊上就陆续发表了大量关于科技项目评估的文章,我国自90年代初期开始在《科学学》《科研管理》《研究与发展管理》等学术期刊上发表了一些相关论文,但这些关于评价方法的文献多是经济或是数学方法在项目结项评价中的应用,从评价对象本质与立项评价问题出发的具有方法论与指导性意义的立项评价指标及评价方法的研究却很少。
1.科技立项评价的基本形式
从立项评价来看,目前OECD(经济合作与发展组织)、NSF(美国国家科学基金会)、JST(日本科学技术振兴机构)、NSTC(韩国国家科学技术理事会)采用同行评议和定量评估相结合的方式,总体趋势是实现项目的差别化、分层化评估体系,评价工作根据项目主管部门的意志还在不断具体化和精细化,保证科学研究活动的相对自由性和评估的合理性。从评议过程中的公正性而言,根据美国国家科学基金会(NSF)和中国国家自然科学基金委员会(NSFC)现有的规章、文件及报告等材料中所涉及的有关内容,二者克服同行评议制度性不公正的措施总结为三个方面:一是克服不利于创新性研究和学科交叉研究的规定;二是克服“马太效应”的负面影响;三是克服评议标准使用的不规范。虽然在NSFC制定有“评审会上对创新性强但通信评议结果高度非共识的项目申请实行‘署名推荐’”的规定,但对于“创新性强”仍没有确定的量化评价指标。在量化指标上NSF制定有较详细的评议准则,并适时修订。我国学者也尝试了在同行评议基础上建立定量指标体系,如林成刚等将项目整体宏观影响的指标纳入立项评价要素中,通过将该指标与政府科技发展指南等政策性文件与规划进行对比,得到所申请项目与政策导向间的相符度,相符度越高意味着项目设置与政策导向越一致,即可以认为该项目一旦立项会较好地促进政府科技目标的实现,可以纳入政府科技项目优先资助的范围内。这是将政府科技项目与政策相结合,对前者进行量化评价的一个新的思路与方法,非常值得借鉴。
但总的来说,目前以同行评议为方法的定性评价研究存在一定的缺陷,目前的定性评价方法将共性层面上的问题又转嫁落实到了专家个性层面上,评审专家的选择、评议过程的规范以及评议环境等制度性、支持性条件对评价结果会产生极大影响。在众多评价文献中,评价方法和模型层出不穷,但有针对性、可操作,能全面、系统反映项目真实水平的科技评价研究尚不完善。
2.科技立项评价方法研究(www.daowen.com)
目前,国内外学者在针对国家、地区、组织等对象的创新能力评价方法上的研究取得了许多成果,主要有数学方法、指标体系法以及审计方法:①基于数学方法的评价思路是将产出作为劳动力投入与资金投入的生产函数。②基于指标体系法的思路是根据企业技术创新特点,选取能够充分反映其本质的评价指标,再选择合适的评价方法。方法中主要包括模糊综合评价法、层次分析法、数据包络分析法、人工神经网络评价法及各种集成评价法(如层次分析法和模糊综合评价集成法)等。③基于审计方法的思路是评价企业技术创新能力,其目的是深入了解企业现有经营状况和期望状况间的实际差距,确定需改进的环节,并进一步推进计划实施。
具体来说,关于科研项目立项评估方法研究集中在如何表述和集结主观判断信息并将其进行客观量化得到最终排序的问题。基于此,许多经典的量化排序方法被引入科技项目的评估中,如层次分析法、目标规划、聚类分析、数据包络分析等。然而,由于国家支撑计划项目往往具有一定的超前性、探索性甚至隐含性,而受到评审专家自身知识水平的局限与对评价标准理解的差异,也会导致评审结果具有较大的模糊性和不确定性。因此,一些学者开始研究使用不确定性的方法描述并集结同行专家的主观评审意见。例如,肖人毅和王长锐应用证据理论的描述评价中的不确定或是不完全的,并用Dempster合成规则集结多位专家的评审意见。华斌提出的基于聚类、粗糙集、决策树的评价模型,通过信息增益的支持优化和改进人机系统中对于专家的评议结果。此外,张守华、孙兆辉和祝志明引入灰色系统理论量化同行评审意见;王雄、吴庆田引入模糊语言评估模型;潘杰义和刘西林运用多目标决策和模糊优选理论建立了科研项目的模糊优选决策模型;肖健华和吴今培引入粗糙集方法表述专家评价意见并进行集结。Schneider等基于期权理论提出评价研发项目的通用框架,该框架采用了多维决策树方法,将项目评审程序拟定为项目的模型化、数据的输入和结果的分析三个步骤,并将该框架形成标准化,进行项目评价。但由于在实际应用中,科技项目的样本数是小样本的、有限的,因此不能直接将该方法运用到立项评价中。基于此,又有专家提出一种利用支持向量机(SVM)技术对科技项目立项进行识别与评价。SVM算法是由Cortes和Vapnik在统计学理论基础上提出的一种机器学习的方法,其研发的目的就是有效地实现对小样本、高维度、非线性系统的精确拟合,并将其进行应用。
此前国内外的研究文献主要是跟踪研究和对现有量化方法的应用,缺乏针对我国科技项目政策性强等特点的评估理论与方法研究。科研项目的成效常常依赖于项目遴选立项的质量,由于国家科技计划项目,特别是应用基础项目往往具有探索性、超前性、不可预知性和隐含性,其评价过程要复杂困难得多。此外,由于我国科技体制及科技运行机制与国外有所区别,因此根据科技项目组织、实施特点而进行的项目创新程度评价研究是一个有待进一步深入研究的问题。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。