The Reporter LogoThe Reporter Logo
深度 × 開放 × 非營利
The Reporter LogoThe Reporter Logo
深度 × 開放 × 非營利

評論

蔡孟利/當暴衝式「影響係數」來襲,學術獎勵和升等標準如何因應?

台灣學術圈對「影響指數(Impact Factor, IF)」排行榜之癡迷其來有自,而今年6月底公布的新版IF出現奇怪的膨脹現象,例如《旅行醫學雜誌》成長率比《科學》還高3倍,反映出學術界以IF為宗的評比習慣,似已到了該改變的時候。圖為台南市立圖書館總館。(攝影/陳曉威)
文字大小
分享
已複製
加入書籤

台灣很熱中各式「排行榜」,但如果要論瘋狂的程度,莫過於學術圈對「影響指數(Impact Factor, IF)」排行榜之癡迷了。只需翻翻各學術機構的研究獎勵、升等審查的辦法,就可以了解IF排行榜對台灣的影響力有多大。

在台灣光科技部投入基礎研究的經費,近年來每年皆高達100億元左右,這還不計其他公私部門的投入,以及中央研究院、國家衛生研究院這類以常態預算支持研究的機構所投注之經費,也不包括各科學研究單位對於轄下人員之學術發表的獎勵費用。作為這些經費的主要產出物,期刊論文不只記錄這些經費投入後的研究成果,也承載這些論文作者們的升遷與角逐榮譽獎項之資格,甚至關聯到爭取各種官位的門票。

正因為期刊論文在台灣這麼有大用,所以如何評判這些論文的優劣,就成為學術行政的第一課題。這個評判優劣的工作,長期以來皆仰賴一家私人公司「科睿唯安(Clarivate)」的產品:「期刊引用報告(Journal Citation Reports, JCR)」。在台灣,JCR裡的IF排行榜直接被寫入各學術研究單位的官方文件中,作為學術評比的依據。

不過,今年6月底JCR所公布的新版IF出現奇怪的膨脹現象,算是給台灣學術界一個警訊,提醒我們以IF為宗的評比習慣,已到了該改變的時候了。

一、IF排行榜的真實意義

JCR每年會公布前一年度各期刊的IF,以及根據這個IF所定義出的期刊優劣排序(Ranking)。除了以2年為計算區間的傳統IF以外,這幾年也附加一些新的排行參數,不過基本上都是植基在「被引用數與總出版數之比例」這個核心概念上。

以2年期的計算區間為例,假設A期刊在2019年和2020年共出版100篇論文,而在WOS
Web of Science Core Collection,經科睿唯安公司審定可作為計算引用數的期刊資料庫。
中,所有在2021年出版的期刊論文中,共有120篇次引用A期刊在2019年與2020年這兩年所出版的論文,那麼A期刊在2021年的IF就是120÷100=1.2。

從計算定義來說,IF反映的其實是期刊的「流通程度」,而一本廣為流通、被比較多人閱讀過的期刊,也可以衍伸說是其「影響力」比較大;但這個「影響力」是好或壞,並無法在此計算式上看出來。

正因為IF反映的是期刊之「流通程度」以及對科學社群的「影響力」,所以若是用來作為圖書館採購期刊,或是提供學者搜尋文獻時鎖定目標之參考,其實是很有用的工具。畢竟,圖書採購的目的就是希望能符合大多數讀者的需求;而多數人看過的參考文獻,拿來讀一讀以免錯失新資訊也契合科學研究工作的需要。

但一個代表「流通程度」與「(不知道是好是壞的)影響力」的排行榜,若用在評論期刊的品質優劣,甚或用來評比期刊內論文作者之研究表現,那就是一個不稱職的排行榜了。

二、畸形膨脹的暴衝式突襲

學術期刊所收納的論文,「正常」來說,都是作者得工作一段時間之後才能累積出來的結果,不是隨時說增產就生得出來的東西,所以論文出版量以及被引用為參考資料的數量,都不會在一、兩個年度內暴衝。

即便因為學術產業的成長致使期刊數量增加、「公開取用(Open Access, OA)」的盛行使得單本期刊內收納的論文數增加,但以相對值計算的IF,正常來說即便有成長,在相鄰的兩年之間也不會是暴衝式的倍數增加,但是今年許多期刊的IF出現暴衝式的成長,讓排行榜發生意料之外的變化。

如《Nature》(自然)、《Science》(科學)世界公認的兩大頂級期刊,它們的IF從2020年到2021年的成長分別約為1.39與1.33
69.504÷49.962≒1.39、63.714÷47.728≒1.33。分母為2020年的IF,分子為2021年的IF,相除所得之商為增長的倍率。
。基本上,這2本期刊沒有炒作IF的必要,所以在自然成長的狀況下,合理的IF增長可以用這2本期刊的增長倍率之平均值為基準,亦即1.36倍。

由這個基準來看,先來評比其他頂級期刊:

《Lancet》(刺胳針)為2.56倍
202.731÷79.323
、《New England Journal of Medicine》(新英格蘭醫學雜誌)為1.93倍
176.079÷91.253
、《Journal of the American Medical Association》(美國醫學會雜誌)為2.8倍
157.335÷56.274
,已顯得有些成長過度了。
更詭異的是,不少IF原本不怎麼樣的期刊,竟在忽然間暴衝3倍以上、甚至還有超過10倍的。例如:《Military Medical Research》(軍事醫學研究)的10.49倍
34.915÷3.329
、《Journal of Infection》(感染雜誌)的6.36倍
38.637÷6.072
、《Journal of Travel Medicine》(旅行醫學雜誌)的4.62倍
39.194÷8.490
、《International Journal of Oral Science》(國際口腔科學雜誌)的3.92倍
24.897÷6.344
、《Asian Journal of Psychiatry》(亞洲精神病學雜誌)的3.92倍
13.890÷3.543
、《Cell Discovery》(細胞發現)的3.51倍
38.079÷10.849
,以及《Psychiatry Research》(精神病學研究)的3.48倍
11.225÷3.222

上述不過是今年異常暴衝的一些例子而已。雖然每年難免有幾本的IF會過度上下波動,但今年出現過多的暴衝,讓台灣學術界震撼──原來IF可以「不穩」到這種程度。

其中最尷尬的莫過於各學術研究單位,對於升等、獎助、學術榮銜的申請規範了。例如有大學在學術論文發表獎勵辦法中就直接寫明了獎勵金標準計算方式是:

  1. 當論文發表在「10 ≦ IF <20」的期刊,獎金為IF×6,000元
  2. 當論文發表在「20 ≦ IF <30」的期刊,獎金為IF×8,000元
  3. 當論文發表在「IF ≧ 30」的期刊上,獎金則高達IF×10,000元

也有學校以IF等於30為界,超過就可視為與《Nature》、《Science》同等級之頂尖期刊,論文發表其上的獎金可達20萬元;又如有的大學在升等與研究績優的評比分數計算上,IF小於5的,須按排序等級以2、3或4計分,大於5的,不看排序,直接以IF的原數值計算。

以上這些例子都顯示當初在訂標準時,原意是植基在IF是個「穩定」的指標之基礎上,所以把明確的數字寫入;而今天IF忽然暴衝起來,對於這些機構內的獎助與獎勵預算、升等或榮銜的審查來說,也就等於受到暴衝式的突襲。

三、「引用數」多就是好期刊嗎?

一篇被引用為參考資料的論文,不一定因為那是一篇「好」的論文:引用者可能拿它當作鋪陳動機或結論的正面佐證,但也可能拿來當作攻擊的負面材料;即便引用的方式是正面的,但引用的時機是在「背景介紹」、「材料方法」、「結果」或是「討論」的章節中,被引用的論文在引用者心中的真正價值與重要性也是有等級差別的。

而這些正面、負面、引用時機,在IF的定義中並無法顯現出來,因為只要引用者的「參考資料」表列中列出了該篇文章,那篇文章的引用數就直接加1。若1本期刊內的論文被引用的次數很多,頂多只能說這本期刊受到關注、所刊載的論文符合流行趨勢,但無法只因為引用的人多就說這本期刊的品質很好。

某些突破性的技術出現,也可能導致相關領域內的期刊IF出現較大變動。例如「功能性磁振造影(functional Magnetic Resonance Imaging, fMRI)」技術的出現,就曾經造成神經科學、心理學相關領域的期刊排名變動。因為這個突破性的新工具帶來了很多新發現,但這又是個相當昂貴而且技術門檻很高的工具,養得起的實驗室相當有限,因此在科學社群小、但影響力大的狀況下,刊載fMRI相關研究的期刊也就容易成長。

此外,在引用數的計算期間內若剛好遇到重大議題,也會對IF產生明顯的影響,最突出的例子莫過於這幾年因為COVID-19的肆虐,全球科學界在預防與治療上全力投注,所以一般醫學、重症醫學、公共衛生、傳染病、免疫學和基礎生物醫學等相關領域的期刊IF也因此大幅提升。

上面這些都算是「正常」狀況。如果再考慮「不正常」炒作所造成的IF失真,那麼以IF為宗的學術評比工作,就會扭曲得更離譜。例如近20年來OA出版形式的盛行,讓學術出版由「挑選」論文的審查過濾型態,轉往「爭取」論文的大量收集型態;從爭取「讀者」支持的銷售取向,轉變為爭取「作者」投注的收納取向。在這樣的出版趨勢下,提高IF變成最有效吸引作者投稿的策略,是以各種墊高IF的手法便層出不窮,而且不只見於新興期刊,在一些較有歷史的老牌期刊,也可見到炒作痕跡。

雖然科睿唯安公司持續監測各種非法炒作IF的樣態,例如今年除了對異常的自我引用(self-citation)之調整外,又增加了對「自我堆疊(self-stacking)」的監測,但目前僅止於對6種有此疑慮的期刊發出警告而已,尚未有實際的調整作為。這也顯示了IF只是個很容易操弄的數字之比值,因此炒作與反炒作IF的抗衡戲碼,就目前的趨勢來看,總是魔先出了一丈,道才於後急追。

四、如何判定學術期刊的品質好壞?

Fill 1
(示意圖,非文中指涉期刊)(攝影/陳曉威)
(示意圖,非文中指涉期刊)(攝影/陳曉威)

如果回到學術出版的作業程序來看,期刊的品質判斷,首要應該是檢視審稿的嚴謹程度。而代表嚴謹程度最具說服力的應該是一本期刊的「接受率」,亦即接受刊登的稿件數與總收稿數之比值,不過這也是最難有正確資訊的項目,因為總收稿數並無法被強制查核,也不能天真地期待各出版單位都會誠實呈現。

除了接受率之外,另一個關鍵是論文在「同儕審查」時,那些「同儕」是不是真正合格的同儕?但是目前絕大部分期刊仍維持審查者不公開的傳統,所以這部分也難有正確的資訊。不過這幾年由於大量出版造成同儕審查浮濫的問題,不少期刊為了自清,已經往論文出版後公開審查者資訊的方向努力了。

雖然現階段無法從上述兩個比較有效的品質指標獲取資訊,但還是可以經由一些間接的事項來推估期刊的品質。例如,期刊編輯群的學術聲望,以及期刊是否為某個學術團體的官方出版物,就是兩個很具參考價值的指標。

一般來說,具學術聲望的編輯群在判斷以及尋找合適的同儕上,比起不具學術聲望者,可信度還是大一些;而學術團體的官方出版物因為有科學社群的支持,在尋找審稿的同儕上也比較容易。

另外,像是期刊給審稿者審稿的期限長短、期刊所公開的審稿原則、期刊從收稿到接受(或拒絕)的平均費時、以及期刊每年的總刊載量等,這些公開的資訊也有助於判斷期刊對論文的把關程度。

五、為何學術單位如此看重IF?

既然IF無法完全真實反映期刊的好壞,也無法據以論斷單篇論文的價值,那麼為什麼IF仍然受到學術單位如此看重,甚至如台灣這般幾乎到依賴的程度?個人認為這是兩個因素所造成的現實:

一是為了強調公平性而便宜行事,二是複雜或大量審查的需求。

學術成果的好壞很難有客觀的標準衡量。若是不同領域,本來就很難找到共同的基準以資比較;就算在同一個領域,評比時需要考慮的,常常也不只有學術的意義,還受到政治、社會、經濟、文化等環境氛圍的影響。而研究成果是否經得起時間的考驗,在經歷更多更複雜的情境下是否依然適用,也是不能忽略的項目。

因此學術成果的評比若都要鉅細靡遺地考慮這諸多事項,不僅會耗費極大的審查成本(人力、時間、金錢),也不容易在科學社群內取得共識。是以除了較具規模的榮譽獎項外,一般的學術審查並無法針對論文本身做到如此細膩的評比。既然無法針對論文做到面面俱到的審查,就只好退而求其次地將評比標的轉嫁到學術期刊上;某種程度,就是將當初期刊對論文所進行的「同儕審查」當作是現在所聘任的外審委員那般,藉由他們當初決定論文是否能夠刊登,當作現在判斷論文價值的間接依據。

但如前所述,期刊的同儕審查品質如何,在目前仍無法比較,所以為了杜眾人悠悠之口,找個看起來客觀的排行榜就是方便巧門;即使這個排行榜並不能反映期刊的審稿品質,也反映不出期刊的重要性,但至少在「影響力」這個層面上是可連結的。

另外,對於一些較大規模的學術審查事務,例如動輒成百上千人的申請案,即便承辦單位願意花大筆經費逐案進行論文的實質審查,但是在有限的審查期限內,是否找得到足夠的合格審查者,就會是個瓶頸。

而不同學門之間的學術評比也是棘手的事務。以筆者服務的宜蘭大學為例,在生物資源學院中有食品科學系、園藝學系、生物技術與動物科學系、生物機電工程學系與森林暨自然資源學系5個科系,院教評會成員之間的學術專長差異極大,所以在評議研究績優申請案時,IF就成為容易凝聚共識的依據。

是以在這兩類的學術審查作業中,忽略論文的內容好壞,僅就論文所在的期刊良莠作為評斷依據,還是學術行政最簡單的解法。

六、各領域應自行提出專屬排行榜

公平性的問題、複雜或大量審查的問題,真的就只能依靠IF嗎?在IF受到各種大環境變化與人為炒作的影響,連「流通程度」與「影響力」都愈來愈不能反映的今天,台灣的學術界是否還要依賴已失真的指標,國王新衣式地繼續下去?

行政院國家科學委員會(簡稱國科會,2014年升格為科技部)在10年前廢除以IF為基礎的「近5年內研究表現指數」,將過去強調以量取勝、以IF為宗的評比方式,改為最多5篇代表作的質性審查。不過儘管國科會銳意革新,但前述提到的那些公平性、複雜與大量審查的問題仍然存在,大部分審查者仍很難擺脫IF的印象。所以在實務上,如果以期刊品質來代表論文好壞、以發表到哪些期刊來評比研究者的表現是無法避免之惡,那麼,提出替代IF的期刊排行榜,就是學術行政不能迴避的課題。

筆者認為可行的方向是,各學術單位根據自己的領域屬性,由單位內的專家們共同提出專屬於該單位的期刊排行榜。細節的做法或許可以用現有的IF排行為基準,然後輔以跟期刊品質有關的事項作為調整順序的權重;也或許可以不管IF,只由該領域內的專家們取得共識後訂之。也就是說,像是大學內各級教評會、教務處或是研究發展處這些與學術評比有關的組織,要擔負起更積極的任務,不能將學術評比這種能夠導引學術風氣與發展方向的工作,便宜行事地只交給IF這個商業產品來決定。

平心而論,以台灣學術社群的規模而言,公私部門投入學術研究的經費並不算少,但是要如何將這些經費的投入轉化成為更有貢獻的研究產出,而不是只拿白花花的銀子去支持毫不相稱的點數遊戲,在IF期刊排行榜愈來愈畸形膨脹的今日,改變,是時候了。

索引
一、IF排行榜的真實意義
二、畸形膨脹的暴衝式突襲
三、「引用數」多就是好期刊嗎?
四、如何判定學術期刊的品質好壞?
五、為何學術單位如此看重IF?
六、各領域應自行提出專屬排行榜

用行動支持報導者

獨立的精神,是自由思想的條件。獨立的媒體,才能守護公共領域,讓自由的討論和真相浮現。

在艱困的媒體環境,《報導者》秉持深度、開放、非營利的精神,致力於公共領域的調查與深度報導。我們透過讀者的贊助支持來營運,不仰賴商業廣告置入,在獨立自主的前提下,穿梭在各項重要公共議題中。

您的支持將有助於《報導者》持續追蹤國內外新聞事件的真相,促進多元進步的社會對話。請與我們一起前進,共同推動這場媒體小革命。

© 2022 All rights Reserved