深度 × 開放 × 非營利
深度 × 開放 × 非營利

評論

陳亮宇/以開放科學為名,荷蘭挑戰奉「期刊影響指數」為圭臬的學術體制

學術圈獨重期刊影響指數的現象,能否改變?荷蘭烏特勒支大學7月宣布,將以更多元指標評價研究人員,將對開放科學的貢獻、對社會的影響力、以至於在教學現場的表現等,都納入評價項目。圖為荷蘭羅斯福大學學院(University College Roosevelt)一位教授正向學生教學生命科學課程。(攝影/AFP/JOHN THYS)

2021年7月,荷蘭烏特勒支大學(Utrecht University, UU)做出一項很前衛的決定:自2022年起,在聘用或升遷一位研究人員時,將放棄當前學界主要採用的「期刊影響指數」(journal impact factor, JIF)制度,改採更多元的評估指標,例如該人員對於團隊合作的承諾,以及促進開放科學(open science)的努力。

期刊影響指數(Journal Impact Factor, JIF)最初是為了幫助圖書員選擇訂閱哪些期刊而開發,如今卻幾乎成為當前學界評估一名學術工作者的唯一標準。對於這項指標被濫用,以及研究人員瘋狂投稿高影響指數期刊的現象,UU校方認為已經到了需要改變的時候了。在保羅・博塞利(Paul Boselie)教授主導的團隊努力下,UU歷經一年內部討論,新的「認可與獎勵制度(Recognition and Reward System)」終於獲得校務委員會及校長拍板定案。自2022年起,全校所有院/系/所/研究中心,都將採用新的認可與獎勵制度。

UU新制度鼓勵開放科學,看重研究質化表現、學者與社會的連結

UU別出心裁地將新版「認可與獎勵制度」置於該校的「開放科學計畫」(Open Science Programme)底下。往後,期刊發表量及影響指數,將不再是衡量學者的唯一標準;取而代之的,是該名人員在提高學術研究的公開(openness)和透明(transparency)方面所做的努力,例如將研究的原始資料釋出為開放資料(open data),以及將研究成果轉為公開取用(open access)的學術資源。

扣緊「開放科學」的理念,UU新版「認可與獎勵制度」提出具備六個面向的「TRIPLE模型(TRIPLE Model)」,用以評估一名學者/研究人員的團隊精神(Team spirit)、研究(Research)、對科學和社會的影響(Impact)、專業表現(Professional performance)、對所處環境人員的領導(Leadership),以及教育(Education)的表現。

Fill 1
圖片來源/Utrecht University Recognition and Rewards Vision;翻譯/陳亮宇。
圖片來源/Utrecht University Recognition and Rewards Vision;翻譯/陳亮宇。

「團隊(T)」之所以名列TRIPLE之首,表達UU將學術工作者的團隊精神視為大前提。這並非表示學者的一切活動都得與他人聯合,而是強調他們都在一個廣義的團隊(院系所、研究中心或計畫)裡運作。

「影響(I)」觀察一名學術工作者如何促進科學與社會之間的相互作用。它不僅包括一名學者在學術與教學的影響,亦包含其對某一專業領域,乃至對社會與公共政策的影響。

「專業表現(P)」不僅指研究與教學,也包括學術工作者與各自學科產生連結的活動。例如,醫院和動物醫院的護理人員在照護病患上的表現,在此指標裡與學術人員在研究與教學的表現同等重要。

同時,UU也在新版「認可與獎勵制度」列出指引學術人員工作的幾項原則:

1. 從集體的(collective)角度設定團隊戰略、目標和需求,個人的表現需與其團隊戰略和目標相符。

2. 趁早培養年輕學子(博士生)與年輕學者(助理教授或副教授)的領導力(leadership)。

3. 激勵學術工作者職涯的多樣化(diversification)發展,鼓勵學術人員隨著時間推移,豐富其在研究、教育、領導和不同專業領域的履歷。

4. 認可研究人員根據「可搜尋、可取得、可交互運用、可重複使用」之FAIR原則(Findability, Accessibility, Interoperability, and Reusability)所做的努力,讓學者不再將實踐開放科學視為沒有回報的額外負擔。(註)
過往學者沒有依循FAIR原則,將自身研究的資料與成果公開,可能有以下兩點原因。
首先,將研究成果經同儕審查(peer review)後發表在期刊的壓力已相當沉重,學者無暇再投入時間精力,處理符合FAIR原則的「資料管理」工作。
其次,研究者從事之研究,無論受到公家或私人補助,其研究資料,可能因涉及法律、倫理、隱私、專利、智慧財產權等面向,而在合約上限制公開。
因此,在上位政策改變前,學者花心力將自身研究轉化為「開放科學」的誘因有限。不過,在大方向的政策改變,政府機構與私人科研資助方要求接受補助之研究,應朝向「開放科學」後,也為研究者帶來新的誘因,例如資料釋出後,提高他們研究的知名度、可信度,更多的合作機會,以及因資料共享(data sharing)為研究帶來突破性的發展等等。

5. 對研究人員的評估,將以其所屬團隊設定之「質化」目標與其自我設定的評估標準為主,取代期刊影響指數等量化指標。

眾聲喧嘩:醫學和自然科學界反彈、300位年輕學者支持革新

Fill 1
如同電視台的收視率一樣,過去,影響指數(Impact Factor)不僅是每家學術期刊最在意的事情之一,也是投稿人選擇投稿標的時的重要依據。因此,一家期刊往往直接將其影響指數,標示在網頁上,如今UU提出的新制度,直接挑戰了這項體制。(圖片來源/Science and Public Policy | Oxford Academic網站)
如同電視台的收視率一樣,過去,影響指數(Impact Factor)不僅是每家學術期刊最在意的事情之一,也是投稿人選擇投稿標的時的重要依據。因此,一家期刊往往直接將其影響指數,標示在網頁上,如今UU提出的新制度,直接挑戰了這項體制。(圖片來源/Science and Public Policy | Oxford Academic網站)

然而,荷蘭學界並未全面支持UU的做法。包括諾貝爾獎化學獎得主伯納德・費林加(Bernard Feringa)、前教育部部長羅南・普拉斯特克(Ronald Plasterk)等170位學者,聯名在《科學指南》(Science Guide)發表一封公開信〈新的認可與獎勵制度有損荷蘭科學〉(Nieuwe Erkennen en waarderen schaadt Nederlandse wetenschap),認為一旦拋棄期刊影響指數,將導致各項學術評鑑和研究計畫審查變得隨機,出現對科學品質的妥協,且受到政治和其他因素(例如接受審查的學者和審查人之間存在裙帶關係)干擾。他們宣稱,此舉將對年輕科學家產生負面影響,不利於他們參與國際競爭。

此外,這群以醫學和自然科學為主的簽署人還建議,應由各學群自行決定如何評估從事研究的學者。例如,在某些質化研究的領域,採取多元評估指標是可以理解的,但就醫學、生命科學和精密科學(exact sciences)而言,國際公認的量化標準才是依據。他們並非反對開放科學和多元評估指標,而是反對將其全盤應用在所有學科領域。

在這封多達143名正教授簽署的信件刊登後,一批以伊拉斯姆斯鹿特丹大學醫學中心(Erasmus University Medical Center, Erasmus MC)為主的年輕醫學與自然科學家,撰寫另一封公開信〈新的認可與獎勵制度可能會傷害弱勢群體〉(Nieuwe Erkennen en Waarderen kan kwetsbare groepen schaden)表達他們對UU新制度的擔憂。他們認為,審查研究計畫時,如果不計算申請人發表的量化指標,而是檢視他們在申請文件及履歷中的質性敘述內容,將使得某些弱勢群體(特別是年輕、女性、特定文化背景或少數族群的科學家)處於不利的位置。簡言之,他們認為新制度「不科學」,申請研究計畫如同申請者的作文比賽,審查通過與否則如同買彩券,得仰賴運氣。

有趣的是,上述較年長一代與年輕一代捍衛既有制度的聲音,又引出另外383位年輕學者加入戰局,他們起草和簽署了〈我們需要擺脫科學中的計算〉(We moeten af van telzucht in de wetenschap),主張「科學出版品不是衡量科學家的唯一標準」,因為透過國際公認的量化指標對研究者進行「評分」,除了限制住學者發問、研究與發表的策略與方向,也犧牲了學者在「研究」以外廣泛的社會參與及服務。

這300多位學者表示,現代科學家不再只關在象牙塔裡研究,也負責分享科學發現,協助決策者解決社會、醫療或各類問題,因此,我們需要「重新校準」認可與獎勵制度。這並不意味放棄所有量化指標,而是讓學者在研究以外的多元角色、任務和貢獻,都能出現在履歷描述和多元評估項目裡。

2012年《舊金山宣言》、2015年《萊登宣言》,已開始支持質化和多元指標

其實,UU雖然踏出荷蘭學術體制變革的第一步,卻非概念上的先行者。

2012年,美國細胞生物學會年會(The Annual Meeting of The American Society for Cell Biology, ASCB)便曾提出一項《舊金山研究評估宣言》(San Francisco Declaration on Research Assessment, DORA),呼籲改進對研究人員和學術研究成果的評鑑方式,避免僅採取論文發表量和期刊影響指數的量化指標。迄今為止,已有來自148個國家的20,288個個人或學術機構簽署《舊金山研究評估宣言》,其中也包括烏特勒支大學。

2015年,萊登大學(Leiden University)科學與技術研究中心(Centre for Science and Technology Studies, CWTS)的學者保羅・沃特(Paul Wouter)和沙菈・德萊克(Sarah de Rijcke)便曾連同幾位歐美學者,在著名期刊《自然》(Nature)上發表《為研究計量指標而訂的萊登宣言》(The Leiden Manifesto for Research Metrics),提出包括「量化評估應支持質化評估與專家評量」、「留意論文發表數量與被引用次數在不同領域上的差異」、「對個別研究者的評估基礎,應建立在對其過往研究歷程檔案的質性判斷」等在內的10項原則(可參考由學者林雯瑤與陳明俐翻譯的中文版宣言)。

當年參與起草《萊登宣言》時還只是助理教授的德萊克,如今已是萊登大學科學與技術研究中心的主任。呼應這波UU的變革,她表示

「學界需要更平衡的認可與獎勵制度,支持學者在研究、教育、社會相關性和領導力等多方的表現,並為每位學術人員的才能創造空間。」

她還補充,教學是多數學者最重要的任務之一,但任用、晉升和提供學者經費補助的審查重點,卻往往是以出版的指標衡量其研究績效,「這不僅不合適,且低估了學術界預期學者承擔其他任務的價值,例如具有社會相關性的研究和行政職責。」

荷蘭已著手改變,台灣何時開第一槍?

從UU因揚棄「期刊影響指數」掀起的爭辯可以發現,荷蘭學界已認識到「單一且過度使用量化指標評估學者的發表」是不好的,但制度該怎麼改,世代之間與不同領域間的看法分歧。當適用質化評估體系的學者,反對全盤使用量化的績效指標時,自然科學家也不希望申請文件全面採行質化的敘述性內容。

目前,荷蘭科學研究委員會(Dutch Research Council, NWO)荷蘭大學聯盟(Vereniging van Samenwerkende Nederlandse Universiteiten, VSNU)皆已改變只重視量化指標的傳統。NWO已要求研究者在申請計畫時,需提供申請者「社會影響」(societal impact)的描述或相關指標。其次,NWO不再只補助創新性研究,也開始為「複製性研究」(replication studies)
近年來,自然科學(例如生命科學、醫學、化學),以及大量採用自然科學研究方法的心理學等,都面臨了「再現性危機」(replication crisis):許多期刊論文看似擁有漂亮的數據和完美的研究成果,卻無法透過嚴謹的複製研究重現其結果。
「複製性研究」指研究者根據已發表的論文提供的研究設計與流程,在相同條件下,以相同方式和步驟操作一次。一項研究若可由其他研究者重複操作且得出相同(似)結果,則可信度較高。複製性研究可用以驗證過往研究的研究設計、資料蒐集與分析方法論是否存在瑕疵,以及研究者是否因追逐完美的研究成果而選擇性地呈現研究資料/數據。
提供經費。第三,NWO已要求所有來自其資助的研究著作,必須在出版後立即以開放取用的形式,向社會大眾公開。

看來,且不管「期刊影響指數」這項指標的採用與否,「開放科學」的精神和「多元評估指標」的發展,已逐漸在荷蘭形成一股趨勢。

回到台灣的脈絡,過度強調研究者在美國科學引文索引(Science Citation Index, SCI)、社會科學引文索引(Social Science Citation Index, SSCI),以及台灣社會科學引文索引(Taiwan Social Science Citation Index, TSSCI)期刊發表累積的點數,已延伸出不少問題和批判。我們如何扭轉當前「重理工、輕人文,以理工思維評鑑人文」、追求期刊論文發表的學術生產線、以及學者「重研究、輕教學(與服務)」的現象,仍有待學術體制與不同領域行動者的再三反思。

用行動支持報導者

獨立的精神,是自由思想的條件。獨立的媒體,才能守護公共領域,讓自由的討論和真相浮現。

在艱困的媒體環境,《報導者》秉持深度、開放、非營利的精神,致力於公共領域的調查與深度報導。我們透過讀者的贊助支持來營運,不仰賴商業廣告置入,在獨立自主的前提下,穿梭在各項重要公共議題中。

您的支持將有助於《報導者》持續追蹤國內外新聞事件的真相,促進多元進步的社會對話。請與我們一起前進,共同推動這場媒體小革命。

© 2021 All rights Reserved