轉(zhuǎn)載自“美捷登”,文章版權(quán)歸武漢美捷登生物有限公司所有。
美捷登Lestat
4月初,神經(jīng)學(xué)家Greg Siegle在一次會(huì)議上聽到了“非常可怕”的事情:一位科學(xué)家表示,他作為美國(guó)國(guó)立衛(wèi)生研究院(NIH)的同行評(píng)議人,在起草冗長(zhǎng)的研究提案時(shí),ChatGPT成為了不可或缺的工具。其他聽眾表示贊同,他們認(rèn)為ChatGPT可以節(jié)省大量時(shí)間——起草一份審查報(bào)告可能只需要將提案的部分內(nèi)容(如摘要、目標(biāo)和研究策略)粘貼到AI中,并要求它對(duì)這些信息進(jìn)行評(píng)估。
然而,NIH和其他資助機(jī)構(gòu)正在遏止這種行為。6月23日,NIH下令禁止使用ChatGPT等在線生成AI工具“分析和制定同行評(píng)議”——部分原因可能源于匹茲堡大學(xué)的Siegle及其同事的一封信。會(huì)議結(jié)束后,他們警告該機(jī)構(gòu),允許ChatGPT撰寫撥款審查是“一個(gè)危險(xiǎn)的先例”。類似的情況還有澳大利亞研究委員會(huì)(ARC)于7月7日開始禁止使用生成式AI撰寫同行評(píng)議。
其他機(jī)構(gòu)也在制定對(duì)策。美國(guó)國(guó)家科學(xué)基金會(huì)的一位發(fā)言人表示,他們已經(jīng)成立了一個(gè)內(nèi)部工作組,研究是否可以適當(dāng)使用AI作為績(jī)效評(píng)估過程的一部分,如果可以的話,需要制定什么樣的“標(biāo)準(zhǔn)”。歐洲研究理事會(huì)要求在撰寫和評(píng)估提案時(shí)一同探討AI。
ChatGPT和其他大型語言模型在龐大的信息數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練,生成類似人類編寫的文本。這些AI機(jī)器人的出現(xiàn),已經(jīng)促使擔(dān)心倫理和事實(shí)準(zhǔn)確性的科學(xué)出版商限制使用它們來撰寫論文。包括Science在內(nèi)的一些出版商和期刊也禁止審稿人使用它們。
對(duì)于資助機(jī)構(gòu)來說,保密是最重要的問題。當(dāng)提案的一部分被輸入在線AI工具時(shí),這些信息就成為其訓(xùn)練數(shù)據(jù)的一部分。NIH擔(dān)心這些數(shù)據(jù)在未來被其他人知曉或使用。
批評(píng)人士還擔(dān)心,AI撰寫的評(píng)論容易出錯(cuò)(眾所周知,機(jī)器人會(huì)捏造事實(shí)),因?yàn)樗鼈內(nèi)〔挠诂F(xiàn)有信息而對(duì)非主流觀點(diǎn)有偏見,并且缺乏推動(dòng)科學(xué)創(chuàng)新的創(chuàng)造力。NIH的官員在博客上寫道:“NIH所看重的原創(chuàng)性思想在這個(gè)過程中喪失了,并且同質(zhì)化了,甚至可能構(gòu)成剽竊!睂(duì)于期刊來說,審稿人的意見也是一個(gè)問題。IOP publishing的同行評(píng)議負(fù)責(zé)人Kim Eggleton說:“不能保證審稿人理解或同意他們提供的內(nèi)容!
在澳大利亞,一名研究人員運(yùn)營(yíng)的匿名Twitter賬戶ARC_Tracker報(bào)告稱,一些科學(xué)家收到的評(píng)論似乎是由ChatGPT撰寫的,一周后,ARC禁止撥款審稿人使用生成式AI工具。ARC_Tracker表示,有些人把部分提案粘貼到ChatGPT上,也得到了類似的評(píng)價(jià)。一個(gè)評(píng)論甚至包含了一個(gè)“贈(zèng)品”詞匯——“重新生成響應(yīng)”,這個(gè)詞匯一般作為提示出現(xiàn)在ChatGPT響應(yīng)的末尾。(ScienceInsider證實(shí)了ARC_Tracker的身份,但同意匿名,以便這位科學(xué)家和其他人可以使用該賬戶自由地批評(píng)ARC和政府政策,而不必?fù)?dān)心后果。)
ARC_Tracker的所有者說,科學(xué)家們可能認(rèn)為ChatGPT產(chǎn)生了有意義的反饋,但它本質(zhì)上只是在重復(fù)提案。不可否認(rèn),一些人類審稿人也會(huì)這樣做。但是,這位科學(xué)家在給ScienceInsider的一封電子郵件中寫道:“適當(dāng)?shù)膶彶閼?yīng)該要體現(xiàn)洞察力,提供批評(píng)、知情意見和專家評(píng)估,與僅僅是對(duì)提案中已有內(nèi)容的總結(jié)之間存在很大的區(qū)別!
然而,也有一些研究人員表示,AI提供了一個(gè)改善同行評(píng)議過程的機(jī)會(huì)。愛荷華大學(xué)的精神病遺傳學(xué)家Jake Michaelson說,NIH的禁令是“科技恐懼癥讓他們錯(cuò)失積極改變的機(jī)會(huì)”。Michaelson說,審稿人可以使用這些工具來檢查他們的評(píng)論,看看他們是否忽略了提案中的任何內(nèi)容,幫助他們?cè)u(píng)估自己領(lǐng)域之外的內(nèi)容,并且完善他們不恰當(dāng)?shù)恼Z言!拔艺J(rèn)為AI終將成為同行評(píng)審過程的第一線,而人類專家將補(bǔ)充第一線的人工智能評(píng)審。我寧愿讓ChatGPT來審核我自己的提案,也不愿讓一個(gè)懶惰的人類審稿人來審核!
隨著時(shí)間的推移,形勢(shì)可能會(huì)發(fā)生變化。幾位科學(xué)家在NIH的博客上指出,一些生成式AI可以離線工作,并且不會(huì)侵犯隱私。NIH回應(yīng)說,它希望為“快速發(fā)展的領(lǐng)域”“提供額外的指導(dǎo)”。
西北大學(xué)倫理學(xué)博士后研究員Mohammad Hosseini在手稿審查中寫過關(guān)于AI的文章,他認(rèn)為NIH的禁令目前是合理的:“考慮到NIH處理的問題和項(xiàng)目的敏感性,以及AI工具的新穎性,采取謹(jǐn)慎的態(tài)度是絕對(duì)必要的!
參考資料:
https://www.science.org/content/article/science-funding-agencies-say-no-using-ai-peer-review
資訊| 各大科學(xué)資助機(jī)構(gòu)拒絕使用AI進(jìn)行同行評(píng)議 |