|
|
|
同行评议是个“好东西”？ |
|
新研究揭示美科研资金投入产出不平衡 |
|
|
为什么NIH评分更高的研究计划并不能得到更重要的研究产出？
Michael Lauer在美国国立卫生研究院（NIH）的工作是：资助最好的心脏学研究，并将其成果快速传播至其他app家、医生和公众。然而，NIH的同行评议系统也许会使这一目标难以达成——其评议依赖于一些志愿app家为研究计划评定拨款优先级的无偿服务。最近，作为NIH国家心脏、肺和血液研究所（NHLBI）心血管研究部门的负责人，Lauer开展的两项研究针对这个每年分配数十亿美元联邦资金的系统，提出了一些令人不安的问题。
系统缺陷
上个月，Lauer的研究在线发表于《循环研究》杂志上。其结果表明：由NHLBI资助的被评为优先级最低分的项目的引用和发表数量，与那些得最高分的项目相同。
“同行评议系统应该能够告诉我们，哪些研究项目会产生最大的影响。”Lauer主张，“事实上，我们明确地告诉app家，这是评议的主要标准之一。但是我们的研究却发现，同行评议并不会预测其研究结果，这令人相当不安。”
Lauer认为，这两篇论文明显表明，评议人在分配NHLBI用于研究的20亿美元上表现并不好。
Lauer称，他已经将研究结果提交给NIH院长Francis Collins和其他高级官员，“他们中没有人指出任何缺陷，也没有人认为我们的发现是错误的”。但是，这并不意味着这些官员同意Lauer的结论。
app审查中心（CSR）负责人、监督NIH同行评议系统的Richard Nakamura对这种使用引用等事后标准来衡量研究影响的方式持怀疑态度。“CSR会更多地关注优秀app家认为哪些研究会有很高的影响力，而不是文献计量是否显示它们具有高影响力。”
一些社会学家则十分欢迎Lauer剖析当前评议系统的想法。位于新西兰威灵顿的Motu经济和公共政策研究所负责人、经济学家Adam Jaffe认为，此类研究可以帮助NIH和其他美国研究机构在分配稀缺资源上做得更好。
“不同项目获得的资金数目有很大差异，但是具体研究计划的排名是接近随机的。”Jaffe指出，在马萨诸塞州的布兰代斯大学担任将近20年教授和院长的Jaffe于去年春天到达新西兰任职。“这意味着NIH对研究项目的持续资助很重要，然而选择过程中所使用的资源并没有被有效地分配。”
Lauer强调，他的研究并不是想说明NIH在资助糟糕的研究，也并不是建议对当前的评议系统进行彻底改革。不过他希望，其研究结果可以促使NIH质疑关于同行评议的由来已久的问题，并更多地将注意力放在确保其资金获得最大的回报上。“就像一位医生面对一群病人，这位医生应该想的是，我该如何使所有人的健康最大化。”他如是说。
公正的信仰
如果询问一位app家关于同行评议的事情，很多人都会立即引用温斯顿·丘吉尔对民主的著名描述：“它不是一个好东西，但是目前为止尚没有比它更好的东西。”app家们承认同行评议系统存在诸多缺陷，例如其保守主义和无法识别微小差异等。不过Nakamura称：“CSR存在的信仰是我们的评议系统是公正的，我们唯一的依据就是好的app。”
这并不意味着Nakamura和同事认为，当前的系统不能被改善。去年，Collins要求一个由高级管理人员组成的工作组调查NIH“优化同行评议”的方式。工作组主席为NIH主要副院长Lawrence Tabak。该工作组调查的内容包括，NIH是否需要采取更多措施来识别和支持新兴领域的研究项目，以及学习如何对那些曾经红极一时但目前科研兴趣已冷却下来的领域进行撤资。
CSR管理的170个左右的研究小组是NIH同行评议系统进行外部资助的必要条件。每个小组中有12到22位外界app家，他们每年会面3次，平均每次评议70份申请。小组成员为每份研究计划评分，其平均分即为研究计划的影响得分。这是一个庞大的系统，需要大量研究团体的支持。
NIH官员认为，同行评议只是构建均衡的拨款系统的一部分。不过他们承认，NIH的项目管理者比其他联邦机构更为担心拨款资助系统出现混乱所带来的后果。
Nakamura一直在寻找新的方法评估研究小组的表现。他说：“我始终相信app家最终会打败计量或者机器。但想要达到这一目标会面临严峻的挑战。”
如何优化
Jaffe表示，他已经付诸10多年的努力，试图令NIH和国家app基金会（NSF）的最高级官员在整个机构开展与Lauer的研究同样类型的同行评议定量分析。但是他遭遇了挫败。“这些相信app方法的app家却不相信app方法需要应用于评价他们自己的研究，令我感到震惊。”Jaff称，“对他们来说，当前的同行评议系统是最佳方式。”
Lauer在自己的研究所着手研究同行评议系统，他并未获得CSR的资助。他最初的灵感来自于2012年1月在《英国明升手机版杂志》（BMJ）发表的一项研究，该研究手机版称，由NHLBI资助、旨在测试预防和治疗心脏病的研究中，只有低于一半的研究在结束后的30个月之内发表了研究结果，1/3的实验从未发布任何信息。Lauer起初并不相信该结果，于是扩大了研究样本，并开展了自己的分析。“事实证明，那份研究结果是对的。”他说。
他怀疑缓慢的出版记录是否是一个更深层次的问题。于是，Lauer开始调查那些在同行评议中得高分的研究计划是否公布数据更快。答案是否定的。“在同行评议优先级分数和发表时间之间没有显著联系。”去年秋天，他和NHLBI的同事在《新英格兰明升手机版杂志》中如是写道。
Lauer称，同行评议的问题与其他一些系统一样，就是依赖于专家的判断。宾夕法尼亚大学的心理学家Philip Tetlock于2006年出版的《专家政治判断：有多好？我们如何知道？》一书令Lauer受益匪浅。该书描述了专家如何在预测政治事件时做得比一般概率的预测更好，以及如何过高估计了自己的预测能力。Tetlock认为，这同样适用于同行评议系统，“有些高影响力的研究被拒绝资助，而低影响力的研究却获得拨款”。
对于NIH没有急于赞同Lauer开展的研究，Tetlock并不惊讶。“大多数机构都不热衷于关注外界对其的客观评价。”
Lauer和Jaffe称，为了改善同行评议系统，NIH应该更加大胆地设计实验。特别是，他们希望NIH严格测试该系统的关键部分。可能的方式包括，加入第二组评议员，以进行结果控制，或者要求评议员根据一些具体标准分别对研究计划打分，而不是像现在一样进行整体评分。
Tetlock指出，没有系统可以100%地选中高影响力的研究项目，且从不资助低影响力的项目。“只有上帝才做得到。”不过他相信，当前的同行评议系统的改进空间还很大。“通过使用关于如何引出和综合判断的最佳app方法，也许我们可以提高命中率。”Tetlock说，“世界也会因此变得更好。”（苗妮）
《明升中国app报》 (2014-02-11 第3版 国际)