有争议的话题
2014年02月号
医学进展
医生日记

莫让学术绩效评估标准大行其道

    全世界主要大学的领导者,一直以来对于各种排行榜以及背后的学术评分标准都保持着一种质疑的态度。然而,现在那些排行榜评估机构官员们却更倾向于用量化标准来对学术人员的绩效进行评分。所以,那些真正关心教研质量的人们有必要去抵制这样的变化。

    虽然当今大学已经演化成为独立自治的学术机构,但是最初,大学的校长就是纯粹的大学管家。如当时美国人所描述的那 样,大学校长的工作就是保障员工有停车位、管理学生们的性生活以及为校友们提供体育活动。虽然英国的“科研评估体系”在学术界盛行已久,但是最近,不仅仅 在英国,学术评估的权利却回到了副校长们的手中。而且,大学的领导者在研究经理和其他相关利益者的鼓动下,正企图用各种“标准”来进一步改变原有的平衡。 具体而言,他们首先想到的便是开发一个所谓“科学”的学术评估系统。

    目前,英国的8所顶尖学校正不知疲倦地共同开发一个强大的计算机工具。该工具根据研究基金的收益、申请专利数或其 他许多他们选择的条件来比较自己和对手们的研究人员和各部门的业绩。这个工具被称为Snowball系统 (www.snowballmetrics.com),在这个系统中注册的大学包括牛津大学、剑桥大学、帝国理工学院、伦敦大学学院、布里斯托大学、利兹 大学、贝尔法斯特女王大学、圣•安驻斯大学以及合作伙伴爱思唯尔(Elsevier)出版社。

    与其他的评估系统一样,Snowball系统在理论上应该可以区分学术成果的优劣。然而,我们仍然怀疑,当其真正 投入到实践应用后,这个系统最后还是会沦为一种更强有力的控制学术人员的工具。这可能会使学术人员感到更大的负担,因为这个系统能够跟踪他们学术生活的方 方面面。我们相信,开发Snowball系统的人员都是正直的,他们并不会故意用各种标准刁难学术人员,并且他们总是努力去更好、更完整地理解学术研究的 绩效标准。然而,Snowball系统和其他类似的评估系统一样,在学术质量评价的定量工具方面仍存在比较严重的缺陷——犹如建造在沙子上的建筑,不切实 际。Snowball系统同样不能直接准确衡量研究的质量,也没有将教学方面的内容纳入考虑。因此,该系统使用了相对较弱的替代变量来进行衡量,比如个人 的引文索引。

    例如,科学引文索引就是以布拉德福特的文献离散率理论和加菲尔德的引文分析理论为主要基础,通过论文被引用频次等 的统计,对学术期刊和科研成果进行多方位的评价研究,从而评判一个国家或地区、科研单位、个人的科研产出绩效,来反映其在国际上的学术水平。因此,科学引 文索引是目前国际上被公认的最具权威的科技文献搜索工具。

    2013年初,引文索引遭到了强有力的挑战。由美国细胞生物学协会牵头的一个组织签署了旧金山学术研究评价宣言 (Declaration On Research Assessment,DORA)并声称,该组织明确表态反对目前不断扩张影响力的基于学术杂志影响因子的评价标准。DORA由美国科学促进会(The American Association for the Advancement of Science,AAAS)在内的75家机构和150多位知名科学家在2012年12月举行的美国细胞生物学学会会议上支持签署,宣言认为科学界应该停止 使用影响因子评价科学家个人的工作;影响因子不能作为替代物用于评估科学家的贡献,以及招聘、晋升和项目资助等的评审。

    美国《科学》杂志的评论提到:①影响因子是评价期刊的工具,不是评价科学家个人的工具。很多重大突破本来就可能需 要长时间的积累。②影响因子的不恰当使用非常具有破坏性,影响期刊的发表政策(比如选择发表引用率可能会高的文章),会给知名期刊带来沉重的投稿压力(滥 投)。③最重要的危害可能是妨碍创新。影响因子会鼓励“模仿或跟风”,使得本来就已经很热的领域(刊物的影响因子高)更加人满为患。目前,更多人关注的是 发表高影响因子的文章,而不是科研创新。

    DORA宣言提出了许多建议,而其中有一个非常好的建议便是要求开放引用数据库,让所有研究者使用。当然,我们在 这里只能衷心地祝他们好运。然而,大学的管理者们肯定懂得信息就是力量、就是生产力这一道理,因为他们所要的不仅仅是成堆的数据,还需要学会如何去“有技 巧”地操纵和摆弄这些数据。

#p#副标题#e#

    然而这些标准却面临着一个非常重要的问题。目前存在这样的一种盛行的风气正在扭曲着研究人员的行为,即“牺牲那些 不参评的(如细致认真的教学工作)来尽力满足那些对于评分有直接帮助的(如在高影响因子的杂志发表论文)”。所以,我们便期望Snowball系统能够解 决同时评测研究人员多个方面的指标。然而,社会对于一名大学科学研究人员是否认同,最为看重的是两方面的品质,即学术的原创性和培育学生的能力。但是,即 便是Snowball系统,在这个问题上也无法做到量化评价,因为这并不同于在铺天盖地的学生问卷中获得高分。

    大多数世界领先的科技大国苦心建立同行评审体系,以期能够根据绩效来进行更为合理的研究经费分配。然而,伪造的、 不良的、错误的科学学术质量衡量方法将会严重危害这一体系。对此,资深科学家恐怕深谙其道。例如在1993年美国国会通过政府绩效和效果法案 (Government Performance and Results Act,GPRA),强制要求联邦政府机构开始研究如何衡量他们工作的效果。但当时的美国科学机构非常强势,而且自信满满。他们成功破灭了诸如美国国家科 学基金(National Science Fundation,NSF)试图创造一套数字规则来衡量其研究经费接受者学术研究质量的念想。

    但是,那些科学社会并不非常成熟的国家却没有能够阻止各种评价标准大行其道。比如在意大利,关于科研经费调拨的同 行评审体系根基并不牢固,所以其危机很可能将会立即显现;又如在中国,甚至很少尝试实践研究经费的同行评审系统。在发展中国家,这趋势更为令人担忧,他们 的研究机构甚至跳过理应精心建立同行审批体系的过程,直接转向基于科研表现的粗犷式研究资金配置。这种忽略科研质量的方式,坦率说,很容易招来严重的腐败 现象。

    在我们看来,例如在英美这样的发达国家平静外表背后,似乎也有潜在的危险。他们现在所享受的美誉,是建立在学术自 主性以及他们对学生耐心而又细致的教学活动上的。然而,如果学术评价真的变成了名副其实的“数字”游戏的话(即以一系列数字来评价科研质量),那么这就会 扼杀学生的学术创造力,就犹如杀鸡取卵,饮鸩止渴。下金蛋的鹅都被杀死了,我们又怎么再去期待金蛋呢?

    令Snowball系统的拥护者们不解的是,科学家们为何依然质疑他们赖以生存的学术绩效评估标准。但是科学家们 总是希望找到一个更好的替代品,以验证各种假设。从这个角度上看,量化的学术评估标准尚未符合要求。然而,现行的学术评估标准却似乎已经犹如黄河泛滥,一 发不可收拾。

(作者:崔永、费正弦)

参考文献:《Nature》2013;500:255

Copyright 1994-2015 Cinkate.com.cn All Rights Reserved 沪ICP备10014127号-5