据各国专家称,对研究人员个人的集中评估将是欧洲新的研究评估改革议程的最严峻挑战。

300多个组织已经签署了《改革研究评估协议》,承诺扩大评估范围并使之多样化。随之而来的一个联盟在12月选出了领导人,它将帮助签署者转向主要使用对研究的定性判断,并承认更广泛的工作,如教学和领导。

从一个以出版指标为主导的时代回归到同行评审,对许多资助者和部门来说是一个持续的挑战,但对那些在聘用或晋升前预审数以万计的学者工作的国家系统来说,这种变化甚至更加艰巨。

莱顿大学科技研究中心的高级研究员、具有里程碑意义的《莱顿宣言》的作者Ismael Rafols告诉《泰晤士报高等教育》:”我们得到的印象是,这项改革对任何拥有集中式系统的国家来说都将是非常困难的,”该宣言在2015年制定了关于在评估中使用指标的原则。

Rafols博士说,意大利、波兰和西班牙都有大批量的系统,这些系统将难以摆脱机器计算的文献计量学。”博洛尼亚大学负责研究的副校长Alberto Credi说:”这是新协议的关键点之一,因为当你必须评估大量的个人时,实施大规模的同行评审可能是一个问题:寻找评审员,处理利益冲突。

对裙带关系的担心推动了许多基于度量衡的系统的建立,而回归到同行评审将需要信任。”一般来说,在波兰,我相信我们对专家评估有很大的不信任。这就是为什么我们想要坚持,一些早期职业研究人员也是如此,坚持’客观’的数字参数,因为我们觉得这是对个人偏见的抵制,”波兰青年学院主席、波兹南的波兰科学院生物有机化学研究所的部门主管Jacek Kolanowski说,他补充说他在法国、德国和澳大利亚工作时看到同行评审更受信任。

克雷迪教授说,在意大利建立对专家评估的信任需要 “几年时间”。要申请长期职位,意大利学者必须通过国家适应性训练系统(ASN),该系统完全基于文献计量学,随后由机构举行的concorsi竞赛则基于同行评审。

帕多瓦大学负责研究的副校长法比奥-兹维尔纳(Fabio Zwirner)说,意大利前任大学部长玛丽亚-克里斯蒂娜-梅萨(Maria Cristina Messa)曾表示,计划让ASN “更轻松、更少约束,更加重视地方评估”,但这些计划在她9月选举后离任时冻结了。”不清楚她是如何考虑实现这一目标的,因为她提到了人工智能工具。他补充说:”我对这种做法不能再有异议了。

据了解,西班牙最新的大学法草案还软化了国家认证系统在招聘和晋升决定中的作用,赋予地方判断以更大的影响力,尽管出版物和会议出席人数目前仍将保留。

权力下放可以使两国更接近协议中规定的理想,尽管可能出现反常现象。克雷迪教授说,9月份意大利国家Covid恢复基金的一项研究竞赛要求申请人引用他们的 “总影响因子”,这是一个基于申请人发表的期刊的总结,”这对我和我的许多同事来说没有任何意义”。