科技日報北京12月28日電(記者 張夢然)包括美國康奈爾大學在內(nèi)的聯(lián)合團隊于《科學》雜志發(fā)表最新研究證實,自人工智能(AI)工具ChatGPT向公眾開放以來,大型語言模型顯著提高了科研人員的論文產(chǎn)出率,但由此激增的平庸論文也為學術評價體系帶來了新問題。
研究團隊收集了2018年1月至2024年6月期間發(fā)表在arXiv、bioRxiv和社會科學研究網(wǎng)(SSRN)3個主要預印本平臺上的超過200萬篇論文作為分析樣本。通過對比2023年前人類撰寫的論文與AI生成文本的特征,團隊開發(fā)出一套檢測模型,用以識別可能由AI輔助完成的論文,并進一步追蹤這些論文的后續(xù)發(fā)表情況。
分析結果顯示,使用AI寫作的科研論文產(chǎn)量顯著增長。在arXiv平臺上,使用AI的科研論文發(fā)表量比未使用者高出約1/3,而在bioRxiv和SSRN上,這一增幅更是超過了50%。AI搜索工具能幫助科研人員發(fā)現(xiàn)更新穎、更多元的文獻資源,這可能有助于激發(fā)更具創(chuàng)造性的研究思路。
然而,AI的普及也給學術質(zhì)量評估帶來了新的困境。研究發(fā)現(xiàn),對于人類撰寫的論文,語言的復雜性通常是衡量其學術質(zhì)量的有效指標;但對于AI生成的論文,盡管其文字流暢度很高,卻往往未能通過期刊評審的嚴格篩選,表明其科學價值并未獲得認可。這種“寫作質(zhì)量”與“科學質(zhì)量”之間的脫節(jié),正使得期刊編輯、資助機構等難以單憑論文產(chǎn)出來有效評估科學家的真實貢獻,這對當前的學術評價體系提出了嚴峻考驗。
團隊成員表示,當前結論基于觀察性數(shù)據(jù),下一步計劃通過隨機對照實驗等方式進行因果性驗證。他們同時呼吁,隨著AI日益成為科研工作中的“協(xié)作者”,政策制定者亟須為這一快速發(fā)展的技術領域建立相應的規(guī)范與指引。
浙公網(wǎng)安備33010602013724