有争议的话题
2010年7月号
医学进展
有争议的话题
医生日记

同行评议的是与非

    同行评议(peer review)是学术刊物出版过程中的一个重要环节,理论上对于期刊发表的文章具有良好的改进作用, 即一方面使研究论文结果的重要性和准确性得到杂志编辑和审稿人的独立评估,而另一方面通过审稿人对论文的评审反馈意见和期刊编辑的建议,帮助论文作者改善文章中的组织结构和逻辑性,从而使文章更具有可读性和更强的科学严谨性。

    同行评议制度建立的初衷就是作为期刊的有效评审系统,来选择真正有价值的学术性强的研究结果,剔除那些受怀疑或造假的结论。从建立至今,同行评议制度得到了广泛的支持,并被普遍认为是严格审查研究论文或基金项目的科学“金标准”。然而,该制度给评审者与文章作者之间带来了一种与生俱来的紧张关系:评审者总是希望只接收最可靠、科学性强的科研成果,而作者希望的是自己的新思路、新方法能够尽快地发表。尽管同行评议制度的必要性仍然被大多数研究人员所认可,但是该制度一直处于争论和批评当中,其中同行评议的形式则是争论和质疑的核心内容。

    目前,同行评议主要有四种形式:单盲评审、双盲评审、公开评审和发表后评审。大多数作者、审稿人和期刊编辑之间都存在对期刊所采用的同行评议形式的争论或质疑。很多作者、审稿人和期刊编辑也对不同的同行评议形式带有比较明显的倾向性,尤其是作者更希望通过一种有效的评议形式来解决同行评议中存在的问题。传统的同行评议形式主要强调匿名性和审稿人的独立思考判断,多采取单盲或双盲评审,但近年来受到不少指责和非议。

一、 同行评议的目的:客观、公正

    双盲评审, 即作者和评审人双方的身份均不向对方公开, 被曾经认为在四种同行评议类型中是最具有客观性的一种,它可以排除一些审稿人对作者潜在的偏见(包括对作者的性别、种族、国家、所在机构和针对作者本人的主观偏见)。

    在某些情况下,双盲评审应该是有必要的。例如,一些采用单盲评审的期刊规定“ 审稿人不能自行暴露身份给作者”,但如果审稿人与作者有某种关系或出于某种需要,也许会有目的地暴露身份,因此双盲评审可以避免这种情况的发生。另外,在一些竞争激烈的研究领域和一些拥有较大商业或应用价值的领域(如材料科学和化),更应采用双盲评审来保证同行评议的客观性和公正性。

    《自然》杂志(Nature)是世界上声誉很高的科学期刊之一。迄今为止,该期刊及其子刊均一直采用单盲评审的形式。在评审过程中和过程外,审稿人的身份均不得向作者或其他审稿人公开;审稿人不能在编辑不知情的情况下自行公开身份给作者;一旦他们公开了身份,也必须尽快将此事通知编辑。审稿人可以提出要求公开身份,但《自然》杂志不提倡这种做法。该期刊认为在审稿人公开身份之前,应该考虑到他们也许被要求评议其他审稿人的评审意见或对修回稿件进行评议,在这种情况下他们会发现公开身份将更难保证自己客观地进行评审; 另一方面,将作者身份公开给评审者的理由包括:激励评审者提出更多适当的问题、便于将新文章与作者以前发表过的文章相比较,以确定是否具有创新性,并且审稿人可以帮助编辑发现该文章潜在的利益冲突(conflicts of interest)。目前单盲评审仍是大多数期刊经常采用的同行评议形式。

二、同行评议受到质疑

    以往认为同行评议能够有效保证发表文章的质量,最近几个案例对于传统的同行评议再次提出了质疑。科学编辑Mark Henderson在2010年4月3日的《英国医学杂志》发表了一篇有关“同行评议是否应该结束”的论文。文章中指出,通常人们认为发表在高影响因子期刊上的高水平文章很少会受到尖刻的批评。然而,Mark Henderson提出了几个疑问:20世纪90年代Stanley Ewen和Arpad Pusztai的有关转基因食品的研究论文是如何被《柳叶刀》通过的?那些仅仅描述某些技术进展的研究又是如何能发表在《细胞》和《自然》?《科学》为什么没有识破韩国黄禹锡克隆工作中的造假之处?

    今年上半年发生的三个案例再次对传统的同行评议是否还能保证研究论文的质量提出质疑。首先,部分被公开的电子邮件显示,东英格兰大学气候研究小组的前负责人Phil Jones曾经发誓要拒绝气候变化政府间专家小组 (Intergovernmental Panel on Climate Change,IPCC)的报告,甚至宣称要对这篇已经经过同行评议审核的文章进行重新评估。紧接着发生了一件更严重的事情。这个小组最新的报告所声称的喜马拉雅冰川将在2035年完全融化明显是—个严重的错误,是任何一个专家都可以发现的错误。稍后,《柳叶刀》杂志宣布将Andrew Wakefield在1998年发表在该杂志上的有关麻疹-腮腺炎-风疹三联疫苗导致自闭症的系列研究论文(可能是最近15年来最有争议的文章)撤下。该系列研究由于科学性差遭到广泛批评,被认为不配发表在一个核心医学期刊上。由于未公布利益冲突,2004年该研究的一部分稿件已被撤稿。今年1月份,该系列研究由于被英国医学总会发现有职业违规行为而被全部撤出。最后,有人断言在干细胞研究领域中同行评议也是失败的。剑桥大学的Austin Smith和国家医学研究中心的Robin Lovell-Badge对英国广播公司说:“现在一些有影响力的评审者已经形成了一个派系,他们正在不断地将竞争者的论文排除于最好期刊之外,反而支持那些较差的研究论文发表。”

    Mark Henderson表示,对于IPCC报告、《柳叶刀》文章和干细胞研究的质疑反映出了一个传统同行评议备受批评的缺陷:它不能根除错误。即使是最严格的评阅过程也无法预防每一个错误,它只能让错误少些。最好的、最有责任心的评审员也不可能仔细审核出每一页稿件中的错误。

    虽然IPCC报告中的错误非常明显,但是他们的科学家认为在一篇长达3000页的文章中没有一个错误是很难的。IPCC报告的首席作者Jürgen Willebrand对《Nature》杂志进行辩解道:“IPCC报告是人写出来的,我丝毫不怀疑之前的IPCC报告也会有类似的错误,但是恐怕没有人会非常仔细地阅读。IPCC报告并没有出现原则性的错误而改变其基本结论。”

    在《柳叶刀》的案例中,《柳叶刀》杂志根本不应该在没有仔细核实论文细节内容的情况下,就发表那些有明显缺陷的文章。当然,当一名研究人员或作者不正直时,即使是最刻苦的评审员或编辑也很难发现问题。因为虽然会核对其数据说明,但一般认为投递论文的数据都是真实可靠。

    真正的不良行为更可能在文章发表后才会被发现,特别当别人重复他的试验或者摘录已发表的研究数据细节时。例如,黄禹锡的工作是在其竞争对手无法重复其技术,他试验中卵子采集过程出现伦理质疑和其前同事举报时,经过细查才发现问题。为此,对该研究进行了重新分析,从而发现他的很多数据都涉嫌造假。除了在文章接受前坚持独立的重复试验(例如《自然》杂志在黄禹锡事件之后对于一项有关猴子克隆的论文进行了重复试验)以外,传统的同行评议在发现作者欺诈方面的作用是很有限。

    在最近的三个论文事件中,Smith教授和Lovell-Badge教授的评论是极具争议的。他们所关注的是在编辑和评审员的眼中,有一些科学家受到了特别优待。有些文章没有按照需要进行仔细审查,而其他文章则被不公平地拒绝了。Smith教授说:“一方面,没有任何合理的人员对评审员支持文章的研究进行质疑,而另一方面,某些人在没有任何特殊的情况下要作出重要并特别的申明并提供关键的研究数据细节。这个领域中大多数人都有一次或多次的失败经历。”

    一部分编辑不太愿意通过评审来拒绝一些他们喜欢的科学家的论文。因为他们害怕那些被拒绝的科学家们将不再将他们的稿件投稿至自己的期刊,而这导致了那些科学家拥有了过分的和不可理解的权限。

    匿名意味着一些评审员不能发表他们的意见,并且不能评审其竞争对手或者同事的研究工作。Lovell-Badge教授说:“如果我收到的一篇论文中部分作者曾经在我的实验室内工作过,或者甚至是我的好朋友,我将会申明利益冲突并且谢绝评阅。我相信不是每个人都可以做到这点的。”

    然而,《自然》的编辑Philip Campbell拒绝了这项指责。他认为《自然》杂志仅在干细胞研究中就使用了超过400位独立评审员。他引用了一些案例,比如尽管3位评审员不同意论文发表,编辑们仍认为研究论文很重要并给予发表。他说:“我们尽量避免评审员滥用他们职权的情况发生。我们的编辑们与研究团队保持了良好的联系,他们从未依赖于一个小团体。我绝不否认在此之外还有一些质疑,但不会出现评审员的良好研究行为会脱离《Nature》的掌控之外。”

    对于威康信托的负责人Mark Walport来说,一位优秀的编辑应该保持同行评议系统的信用。 他说:“这是一个科学编辑的职责,他们往往需要同时面对2份或3份评论。他们必须认出哪些人是行为不端的,一位好的编辑能毋庸置疑地指出其中的错误。”

    尽管已察觉这些缺点,但众所周知改善同行评议是非常困难的。例如,双盲评议方法是指评审者还是作者都互相不知道对方的身份,但实际上这是很困难的。因为评审者往往会通过作者的引用和主题内容而猜出作者的身份。然而,已经出现了两个新的同行评议方式能有效解决传统同行评议的部分最常见质疑:不必要的不透明和难以理解。

三、公开评审的尝试

    像其他杂志一样,《英国医学杂志》也在不断尝试改善同行评议系统。在未能确认盲法评审可以改善评审质量的前提下,《英国医学杂志》决定对一种激进的同行评议方法进行随机对照试验,其论文发表于1999年的《英国医学杂志》(BMJ 1999;318:23-27)。《英国医学杂志》编辑部进行该试验有几个方面的原因考虑:首先,目前并没有证据证明匿名的盲法评审要优于其他同行评议方式;其次,有些证据显示公开评审能形成更好的评审意见,从而提高文章质量;第三,如果评审员必须在评审报告上签字,那他们就会更加努力去评审,从而提出更好的评审意见;第四,很多编辑都赞成进行公开评审,并且有些杂志(尤其是生物医学以外的杂志)已经采取了公开评审;第五,公开评审应该能提高同行评议的信誉和责任心;第六,互联网推动了在网上进行整个开放式同行评议过程的可能性,而该种技术对于收集公开评审的意见是非常重要的;第七,对于作者而言,在匿名的情况下,由评审员来进行判决稿件是否采纳是不公平的。其实,在所有的情况下,评审者不了解作者的身份一般是不可能的。

    该研究将每篇投稿文章分别由两组评审专家进行评审文章,评审专家可以随机选择是对文章作者公开身份还是保持匿名。杂志编辑和文章作者对该过程保持盲法。该研究的主要评估指标为通过一个有效的工具,两位编辑和通讯作者对评审质量进行评分。其他指标为完成评审所需要的时间和推荐文章发表的比例。同时,通过问卷调查的形式,采集所投递论文的作者对于公开评审的看法。

    结果发现,两位编辑对于125篇稿件的113篇进行了评分,105位通讯作者也进行了评分。被随机询问公开身份的评审员比例为12%,他们谢绝评审的比例要显著超过匿名评审员(35% vs 23%)。在匿名评审员和公开评审员之间,评审质量的评分没有显著差异性,分别为3.06±0.72分和3.09±0.68分(P=0.68,95%CI:-0.19~0.12)。同时,在文章推荐发表的比例和评审时间方面,两者也没有显著差异性。对于评审质量的评分,编辑的分数显著高于通讯作者(3.05±0.70 vs 2.90±0.87,P<0.005,95%CI:-0.26~-0.03)。大多数作者都对公开评审表示支持。

    该研究结论认为,多数评审者支持公开评审。公开评审对于文章评审的质量、推荐发表的比例和评审完成的时间没有明显影响,但可能会增加评审者谢绝评审的比例。很多作者支持公开评审,因为认为公开评审能增加评审者的责任心、评审的公正性和透明度。

    《英国医学杂志》已经采取了公开评议方法来评审投稿的论文,以杜绝传统的同行评议的一些错误。在大多数其他的杂志中,论文评审者不签名,以鼓励直率地表达意见,从而保证年轻的研究者积极参与评审而不用担心被那些资深人员所反对。Camp bell博士和Walport博士正是由于这个原因而拒绝公开评审。然而,《英国医学杂志》编辑Fiona Godlee认为该杂志没有这个问题。她说:“我们进行了一项评审签名和不签名的随机对照实验,发现这对于作者和评审员都是可以接受的,而且对于评审意见,它没有明显的差异性。虽然公开评审对于稿件的推荐采纳方面有增加趋势,但总体评审质量没有变化。自从应用公开评审以来,我们有1到2位评审者说他们不愿意进行公开评审,但绝大多数评审者是支持的,作者也是欢迎的。”Fiona Godlee承认,公开评审可能不会被每个杂志所接受,尤其是那些研究者之间彼此都很了解的非常特殊的专业领域。她也强调了《英国医学杂志》编辑的重要性:“对于论文,他们具有最终的决定权,因此我们并不完全依赖于同行评议者对于稿件是否推荐发表的意见。”

    另外,还有一个折中的解决方案,是欧洲分子生物学组织期刊所提倡的。虽然它没有委派评审员,但它公开发表了他们的报告。这也是Smith、Lovell-Badge和Walport所呼吁的一种方法。Walport博士说:“如果你将补充资料打包发表,它提供了一种书面证据和另一个层次的问责。”“这将给那些评审者一定的压力,让他们能保持小心翼翼的公正,因为任何不友好的或荒谬的东西都会被公开在那里,而杂志编辑们将非常仔细地思考他们的评审意见。”

    《英国医学杂志》正考虑采取下一步措施——与发表论文一起公开署名的评审意见,在经过第二次随机试验发现证实这样是可行的,也被作者和评审者所接受。同时,《自然》杂志也在考虑采取匿名发表的形式来公开评审报告。Campbell博士说:“我们已考虑这件事情好几年了。有些问题我们需要仔细考虑,比如这将改变作者和评审者之间的关系,但这绝对是我们正在考虑的事情。”

四、结束语和展望

    目前来看,很多研究人员所关心的问题仍然偏重于符合科学习惯的传统评议形式(单盲或双盲评审),作者和评审员主要的争议之处在于双盲评审和单盲评审哪一个更有效。他们认为公开评审或公开评审报告仅仅是常规同行评议的补充方式。然而,传统的同行评议较为耗费时间和只有两三个评审员容易产生评审的片面性,正受到越来越多的质疑。

    因此,部分出版机构从期刊长期发展的角度出发,针对网络环境下的学术交流模式,已经在考虑包括公开评审,甚至发表后评审等新的评议形式。新型的评议方法能够让同行评议不仅仅作为科学出版中的一个环节,而是能够出现在出版的各个流程,甚至贯穿于科学出版的整个过程中,起到促进学术交流的作用。

    正像《英国医学杂志》发表的那篇评论文章中描述的那样,对于某些科学内容来说,除了所有其他的时不时的尝试方法以外,同行评议系统可能确实是最差的。但就像民主一样,这并不意味着它不能被调整,以使其更公平。

(作者:王敏骏)

Copyright 1994-2015 Cinkate.com.cn All Rights Reserved 沪ICP备10014127号-5