原標題:“幫手”還是“幫兇”?生成式AI學術使用亟須關注
【今日視點】
◎本報記者 劉 霞
生成式人工智能(AI)工具快速普及,在學術寫作領域呈現爆炸式應用勢頭。使用基于大語言模型(LLM)的生成式AI工具能節省時間,減少語言障礙,讓論文更加明白通暢。但這些工具的應用也讓剽竊問題變得更復雜。
英國《自然》網站在近日的報道中指出,對利用AI寫作是否構成剽竊,以及在什么情況下允許利用AI進行寫作,科研界應充分探討并制定更明確的學術寫作AI使用指南。
AI學術寫作應用增多
德國蒂賓根大學數據科學家德米特里·科巴克領導的團隊,分析了學術數據庫PubMed中2010年至2024年6月期間發表的1400萬篇論文摘要。他們估計,2024年上半年,至少有10%的生物醫學論文摘要(約7.5萬篇)使用了LLM進行寫作,以LLM為基礎的寫作“助理”的出現,對學術界產生了前所未有的影響。
同時,有些人認為,AI工具是學術寫作的“好幫手”。它們可使文本和概念更清晰,減少語言障礙,使科學家能騰出更多時間進行實驗和思考。
剽竊行為很難揪出
2015年的一項研究估計,1.7%的科學家承認有剽竊行為,30%的科學家認識有剽竊行為的同事。
LLM經過訓練,可通過“消化”大量以前發表的文章來生成文本。因此,使用它們可能會導致類似剽竊的情況。例如,研究人員將AI生成的論文冒充自己撰寫的論文;或者機器生成的論文與某人的論文非常接近,但沒有注明來源等等。英國普利茅斯大學生態學家皮特·科頓指出,在AI時代,定義學術不誠信或剽竊,以及合理使用AI的邊界,將變得非常困難。
如果LLM稍微修改一下措辭,那么其剽竊人類撰寫文本內容的情況很容易被掩蓋。因為人們可給出提示,讓這些AI工具以復雜的方式(如以某個學術期刊的風格)撰寫論文。在2023年對1600名研究人員開展的一項調查中,68%的受訪者表示,AI將使剽竊更難被發現。
另外一個核心問題是,使用完全由機器而非人類編寫的未署名內容是否算剽竊。德國柏林應用科學大學專家黛博拉·韋伯·沃爾夫表示,盡管有的生成式AI生成的文本看起來與人類書寫的內容相差無幾,但不能被視為剽竊。
使用界限急需制定
美國馬里蘭大學可靠人工智能實驗室主任索海爾·菲茲副教授認為,使用LLM改寫現有論文的內容顯然構成抄襲。但使用LLM來幫助表達想法,無論是根據詳細的提示生成文本,還是編輯草稿,如果透明地完成,都不應該受到懲罰。科學界應該允許研究人員利用LLM,來輕松、清晰地表達他們的想法。
許多期刊現在都制定了相關政策,允許投稿者在一定程度上使用LLM。《科學》雜志于2023年11月更新了其政策,稱作者應該全部披露其在撰寫論文過程中的AI技術使用情況,包括使用了哪些AI系統,提示詞有哪些等。《自然》雜志也表示,作者應該記錄LLM的使用情況。
一項對100家大型學術出版商和100家排名靠前的期刊開展的分析發現,截至2023年10月,24%的出版商和87%的期刊都制定了使用生成式AI的指導方針。幾乎所有這些期刊都聲明,AI工具不能被列為作者。
沃爾夫強調,科學家迫切需要更明確的學術寫作AI使用指南。
檢測工具亟待提升
在一部分科學家利用LLM撰寫學術論文的同時,也有另一部分科學家正在開發旨在檢測LLM使用情況的工具。盡管一些工具的準確率較高,在某些情況下超過90%,但研究表明,大多數工具“名不副實”。在去年12月發表的一項研究中,沃爾夫及其同事評估了學術界廣泛使用的14種AI檢測工具。結果顯示,只有5款工具的準確率高于70%,沒有一款工具的得分超過80%。
當研究團隊通過替換同義詞及重排句子順序,對AI生成的文本進行微調后,檢測工具的準確率下降到平均不足50%。如果研究人員讓AI多次改寫由人類撰寫的文本,檢測工具的準確率也會大大降低。
AI檢測工具還面臨其他問題,比如非英語母語者用英語寫作,更有可能被誤認為由AI生成。菲茲指出,AI檢測工具無法可靠地區分完全由AI編寫的文本和作者使用AI潤色文本的情況。被錯誤地指控濫用AI,可能會對這些學者或學生的聲譽造成相當大的損害。(劉霞)
原標題:“幫手”還是“幫兇”?生成式AI學術使用亟須關注 來源:科技日報