|
作者：美捷登Daniel 人工智能（AI）的興起為許多領(lǐng)域帶來(lái)了前所未有的機(jī)遇，包括科學(xué)研究。然而，與這些優(yōu)勢(shì)相伴的，是威脅科學(xué)交流完整性和科學(xué)公信力的新風(fēng)險(xiǎn)。最近，Haider等人發(fā)表的題為《GPT-fabricated scientific papers on Google Scholar: Key features, spread, and implications for preempting evidence manipulation》的論文中（圖1），揭示了AI技術(shù)帶來(lái)的最令人擔(dān)憂的后果之一：由大型語(yǔ)言模型（LLM），特別是ChatGPT，生成的偽造科學(xué)論文的泛濫。這一現(xiàn)象不僅破壞學(xué)術(shù)環(huán)境，還可能扭曲社會(huì)的證據(jù)基礎(chǔ)，進(jìn)而影響政策制定、公共話語(yǔ)以及科學(xué)本身的信譽(yù)。
圖1. Haider等人發(fā)表的題為《GPT-fabricated scientific papers on Google Scholar: Key features, spread, and implications for preempting evidence manipulation》的論文（截圖來(lái)自misinforeview）
一、GPT偽造論文的泛濫
文章指出，大量GPT偽造的論文正在進(jìn)入公開(kāi)的學(xué)術(shù)數(shù)據(jù)庫(kù)，并且?guī)缀鯖](méi)有經(jīng)過(guò)同行評(píng)審。作者共發(fā)現(xiàn)了139篇此類論文（表1），這些論文都可以通過(guò)谷歌學(xué)術(shù)輕松獲取，其中大部分發(fā)表在非索引期刊中。這些論文的傳播凸顯了兩個(gè)相互關(guān)聯(lián)的挑戰(zhàn)：生成式AI工具的日益普及，使其能夠逼真地模仿科學(xué)寫(xiě)作；谷歌學(xué)術(shù)這類的學(xué)術(shù)平臺(tái)存在結(jié)構(gòu)性弱點(diǎn)，使得這些虛假論文容易與真實(shí)研究一起被列出。
表 1. 使用 ChatGPT 欺詐性或未聲明地在不同主題和場(chǎng)所發(fā)表的論文數(shù)量（表格來(lái)源misinforeview） 論文類別 | 計(jì)算機(jī) | 環(huán)境 | 健康 | 其他 | 總計(jì) | 被索引的期刊* | 5 | 3 | 4 | 7 | 19 | 非索引期刊 | 18 | 18 | 13 | 40 | 89 | 學(xué)生論文 | 4 | 3 | 1 | 11 | 19 | 工作論文 | 5 | 3 | 2 | 2 | 12 | 總計(jì) | 32 | 27 | 20 | 60 | 139 |
*被 Scopus、挪威科學(xué)期刊、系列和出版商登記冊(cè)、Web of Science 和/或 DOAJ 索引。
作者將這些論文分為四個(gè)主要學(xué)科領(lǐng)域：計(jì)算機(jī)、環(huán)境、健康及其他領(lǐng)域（表1）。值得注意的是，這些領(lǐng)域的研究直接影響公共政策和社會(huì)問(wèn)題。其中，健康和環(huán)境研究領(lǐng)域尤為容易受到操縱，因?yàn)楣娨庖?jiàn)和決策往往依賴于科學(xué)證據(jù)。例如，在氣候變化或像COVID-19這樣的公共衛(wèi)生危機(jī)背景下，利用GPT偽造的研究進(jìn)行的虛假信息傳播可能對(duì)社會(huì)造成嚴(yán)重影響。
二、GPT偽造論文構(gòu)成的威脅
作者提出了一個(gè)緊迫的問(wèn)題，即所謂的“證據(jù)操縱”。與傳統(tǒng)的科學(xué)欺詐不同，GPT生成的論文是一個(gè)完全不同的欺騙類別。這些論文看似結(jié)構(gòu)嚴(yán)謹(jǐn)，但實(shí)際上并未包含任何真實(shí)的研究。盡管在研究中發(fā)現(xiàn)的某些GPT偽造論文由于語(yǔ)言公式化或引用不規(guī)范而易于識(shí)別，但許多論文展示出結(jié)構(gòu)化的內(nèi)容，并通過(guò)了審查。
文章討論的一個(gè)關(guān)鍵問(wèn)題是，這類論文的傳播可能導(dǎo)致科學(xué)信任的危機(jī)。眾所周知，科學(xué)建立在同行評(píng)審和嚴(yán)格驗(yàn)證的基礎(chǔ)上，但正如Haider等人所指出的，即使是索引期刊——學(xué)術(shù)出版的黃金標(biāo)準(zhǔn)，也未能幸免于此類入侵。研究發(fā)現(xiàn)，有19篇偽造論文被發(fā)表在索引期刊中。這些虛假論文進(jìn)入知名的學(xué)術(shù)期刊數(shù)據(jù)庫(kù)，極大地增加了錯(cuò)誤信息被當(dāng)作有效科學(xué)的風(fēng)險(xiǎn)。
這個(gè)挑戰(zhàn)因人們?cè)絹?lái)越依賴AI驅(qū)動(dòng)的搜索算法（如谷歌學(xué)術(shù)使用的算法）而變得更加復(fù)雜。這些算法優(yōu)先考慮數(shù)量和可訪問(wèn)性，而不是質(zhì)量，這意味著GPT偽造的論文可能與經(jīng)過(guò)同行評(píng)審的工作并列顯示，且很難區(qū)分。鑒于許多普通讀者、記者、政策制定者甚至一些學(xué)者可能不會(huì)詳細(xì)審查每篇論文，誤導(dǎo)性或完全錯(cuò)誤的信息獲得認(rèn)可的風(fēng)險(xiǎn)很高。
三、科學(xué)公眾信任的危機(jī)
這一趨勢(shì)最深遠(yuǎn)的影響之一是科學(xué)公信力可能進(jìn)一步被削弱。近年來(lái)，科學(xué)在許多有爭(zhēng)議的辯論中被政治化——無(wú)論是關(guān)于氣候變化、疫苗，還是公共衛(wèi)生政策的影響。作者認(rèn)為，GPT生成的論文很可能在這些信息戰(zhàn)中被“武器化”，虛假信息被用來(lái)削弱公眾共識(shí)，或?qū)е聦?duì)已確立科學(xué)事實(shí)的懷疑。
作者指出，問(wèn)題不僅在于這些虛假論文的存在，還在于它們長(zhǎng)期存在所帶來(lái)的影響。即使被撤回，這類論文仍可能在各種數(shù)字庫(kù)、影子圖書(shū)館或社交媒體中繼續(xù)傳播。事實(shí)上，正如在COVID-19疫情期間所見(jiàn)，撤回有時(shí)會(huì)加劇陰謀論，事與愿違。如果那些已經(jīng)傾向于不信任科學(xué)機(jī)構(gòu)的人遇到支持其觀點(diǎn)的GPT偽造論文，這會(huì)進(jìn)一步鞏固他們的信念，并使得在重要問(wèn)題上建立共識(shí)變得更加困難。
根據(jù)表2所示，由GPT生成的有問(wèn)題論文正逐漸滲透到在線學(xué)術(shù)交流研究的大部分平臺(tái)中。已發(fā)現(xiàn)這些論文出現(xiàn)在的平臺(tái)包括ResearchGate、ORCiD、《人口治療學(xué)與臨床藥理學(xué)雜志》（JPTCP）、Easychair、Frontiers、電氣電子工程師學(xué)會(huì)（IEEE）以及X/Twitter。因此，即使它們從原始來(lái)源被撤回，也很難在其他平臺(tái)上進(jìn)行追蹤、刪除或標(biāo)記。此外，除非進(jìn)行監(jiān)管，否則谷歌學(xué)術(shù)將使這些論文持續(xù)曝光，并且很可能不會(huì)被標(biāo)注為問(wèn)題論文。
表2.GPT生成的有問(wèn)題論文正滲透至多種學(xué)術(shù)平臺(tái)（表格來(lái)源misinforeview） 主題 | 1 | 2 | 3 | 4 | 5 | 環(huán)境
| researchgate.net (13)
| orcid.org (4)
| easychair.org (3)
| ijope.com* (3)
| publikasiindonesia.id (3)
| 健康
| researchgate.net (15)
| ieee.org (4)
| twitter.com (3)
| jptcp.com** (2)
| frontiersin.org (2)
|
注釋：《國(guó)際開(kāi)放出版與探索期刊》（ISSN: 3006-2853）
** 《人口治療學(xué)與臨床藥理學(xué)雜志》（ISSN 2561-8741）
四、潛在的解決方案
Haider等人強(qiáng)調(diào)了需要采取多方面的措施來(lái)應(yīng)對(duì)這一日益嚴(yán)重的威脅。他們建議，任何解決方案都必須整合技術(shù)、教育和監(jiān)管策略，以達(dá)到預(yù)期效果。
1.技術(shù)
首先，作者建議實(shí)施更先進(jìn)的檢測(cè)工具。谷歌學(xué)術(shù)等學(xué)術(shù)平臺(tái)需要開(kāi)發(fā)更好的過(guò)濾機(jī)制，以區(qū)分經(jīng)過(guò)同行評(píng)審的索引期刊和灰色文獻(xiàn)。此外，他們建議將針對(duì)索引期刊的評(píng)估工具直接整合到搜索引擎中，使用戶能夠更輕松地評(píng)估所遇到論文的可信度。在理想的情況下，算法可以根據(jù)語(yǔ)言模式、元數(shù)據(jù)不一致或引用異常標(biāo)記GPT生成的內(nèi)容，但要實(shí)現(xiàn)這一水平的復(fù)雜性，仍需大量的技術(shù)創(chuàng)新。
2.教育
其次，教育在減輕AI生成內(nèi)容風(fēng)險(xiǎn)方面發(fā)揮著關(guān)鍵作用。研究人員、學(xué)生和公眾需要了解過(guò)度依賴AI生成信息的局限性和潛在危險(xiǎn)。雖然AI工具可以在自動(dòng)化某些任務(wù)方面非常有價(jià)值，但批判性思維和來(lái)源評(píng)估的重要性不容忽視。培養(yǎng)下一代研究人員能夠辨別高質(zhì)量作品和欺騙性論文，將是保持科學(xué)交流完整性的關(guān)鍵。
3.監(jiān)管和倫理框架
最后，文章呼吁采取監(jiān)管干預(yù)措施。從期刊出版商到搜索引擎，整個(gè)科研基礎(chǔ)設(shè)施需要為確保其傳播的材料符合嚴(yán)格標(biāo)準(zhǔn)承擔(dān)責(zé)任。可能需要出臺(tái)行業(yè)范圍的法規(guī)，明確AI在科學(xué)出版中的使用倫理準(zhǔn)則。此外，應(yīng)該為期刊和學(xué)術(shù)搜索平臺(tái)提供更強(qiáng)的激勵(lì)措施，以實(shí)施更嚴(yán)格的審查程序，確保其數(shù)據(jù)庫(kù)中研究的質(zhì)量。
五、AI時(shí)代科學(xué)未來(lái)的反思
GPT偽造論文的興起是生成式AI帶來(lái)的廣泛社會(huì)挑戰(zhàn)的一部分。盡管AI具有推動(dòng)人類知識(shí)進(jìn)步和自動(dòng)化復(fù)雜過(guò)程的巨大潛力，但其濫用可能帶來(lái)同樣廣泛的負(fù)面后果。在科學(xué)研究的情況下，利害關(guān)系尤其重大�？茖W(xué)支撐著許多塑造我們世界的決策——從環(huán)境政策到公共衛(wèi)生，再到技術(shù)創(chuàng)新。
在一個(gè)錯(cuò)誤信息可以迅速在數(shù)字平臺(tái)上傳播的時(shí)代，科學(xué)記錄的完整性比以往任何時(shí)候都更加重要。Haider及其同事通過(guò)識(shí)別GPT偽造論文的風(fēng)險(xiǎn)并提出潛在解決方案，為學(xué)術(shù)界作出了巨大貢獻(xiàn)。但他們的研究也應(yīng)當(dāng)喚起公眾的警醒。作為公民，我們依賴科學(xué)為我們提供關(guān)于生活世界的準(zhǔn)確、可靠的信息。如果這種信任被削弱，后果將是嚴(yán)重的——不僅對(duì)學(xué)術(shù)界，對(duì)整個(gè)社會(huì)都是如此。
展望未來(lái)，必須齊心協(xié)力維護(hù)科學(xué)研究的可信度。這不僅需要技術(shù)上的改進(jìn)，還需要重新評(píng)估我們?cè)跀?shù)字時(shí)代與信息的互動(dòng)方式。我們必須認(rèn)識(shí)到，雖然AI是一個(gè)強(qiáng)大的工具，但它也可能被用來(lái)制造懷疑和混亂�？茖W(xué)誠(chéng)信的未來(lái)，甚至一個(gè)信息爆炸的社會(huì)的未來(lái)，取決于我們?nèi)绾螒?yīng)對(duì)這一新興挑戰(zhàn)。
總之，Haider等人的研究揭示了一個(gè)迫在眉睫且復(fù)雜的問(wèn)題，亟需立即引起關(guān)注。他們的分析呼吁研究人員、機(jī)構(gòu)、政策制定者和公眾共同認(rèn)識(shí)到AI驅(qū)動(dòng)的證據(jù)操縱的風(fēng)險(xiǎn)，并采取切實(shí)行動(dòng)，保護(hù)科學(xué)交流的完整性。事實(shí)與虛構(gòu)不分的學(xué)術(shù)世界，是我們絕對(duì)不能允許的。
參考資料：
- misinforeview.hks.harvard.edu/wp-content/uploads/2024/09/haider_gpt_fabricated_scientific_papers_20240903.pdf
- mp.weixin.qq.com/s/vCFJtxhNxMhKN-3-PCdImA
- mp.weixin.qq.com/s/rZYp2rdtnfkD3nehKRAgVQ
AI生成的偽造論文正在顛覆科學(xué)：我們還能相信研究成果嗎？ | 
樓主
收藏
分享
支持
反對(duì)
提升卡
置頂卡
沉默卡
喧囂卡
變色卡
千斤頂
照妖鏡