轉載自“美捷登”,文章版權歸武漢美捷登生物有限公司所有。
美捷登Lestat
4月初,神經學家Greg Siegle在一次會議上聽到了“非?膳隆钡氖虑椋阂晃豢茖W家表示,他作為美國國立衛(wèi)生研究院(NIH)的同行評議人,在起草冗長的研究提案時,ChatGPT成為了不可或缺的工具。其他聽眾表示贊同,他們認為ChatGPT可以節(jié)省大量時間——起草一份審查報告可能只需要將提案的部分內容(如摘要、目標和研究策略)粘貼到AI中,并要求它對這些信息進行評估。
然而,NIH和其他資助機構正在遏止這種行為。6月23日,NIH下令禁止使用ChatGPT等在線生成AI工具“分析和制定同行評議”——部分原因可能源于匹茲堡大學的Siegle及其同事的一封信。會議結束后,他們警告該機構,允許ChatGPT撰寫撥款審查是“一個危險的先例”。類似的情況還有澳大利亞研究委員會(ARC)于7月7日開始禁止使用生成式AI撰寫同行評議。
其他機構也在制定對策。美國國家科學基金會的一位發(fā)言人表示,他們已經成立了一個內部工作組,研究是否可以適當使用AI作為績效評估過程的一部分,如果可以的話,需要制定什么樣的“標準”。歐洲研究理事會要求在撰寫和評估提案時一同探討AI。
ChatGPT和其他大型語言模型在龐大的信息數(shù)據(jù)庫上進行訓練,生成類似人類編寫的文本。這些AI機器人的出現(xiàn),已經促使擔心倫理和事實準確性的科學出版商限制使用它們來撰寫論文。包括Science在內的一些出版商和期刊也禁止審稿人使用它們。
對于資助機構來說,保密是最重要的問題。當提案的一部分被輸入在線AI工具時,這些信息就成為其訓練數(shù)據(jù)的一部分。NIH擔心這些數(shù)據(jù)在未來被其他人知曉或使用。
批評人士還擔心,AI撰寫的評論容易出錯(眾所周知,機器人會捏造事實),因為它們取材于現(xiàn)有信息而對非主流觀點有偏見,并且缺乏推動科學創(chuàng)新的創(chuàng)造力。NIH的官員在博客上寫道:“NIH所看重的原創(chuàng)性思想在這個過程中喪失了,并且同質化了,甚至可能構成剽竊!睂τ谄诳瘉碚f,審稿人的意見也是一個問題。IOP publishing的同行評議負責人Kim Eggleton說:“不能保證審稿人理解或同意他們提供的內容!
在澳大利亞,一名研究人員運營的匿名Twitter賬戶ARC_Tracker報告稱,一些科學家收到的評論似乎是由ChatGPT撰寫的,一周后,ARC禁止撥款審稿人使用生成式AI工具。ARC_Tracker表示,有些人把部分提案粘貼到ChatGPT上,也得到了類似的評價。一個評論甚至包含了一個“贈品”詞匯——“重新生成響應”,這個詞匯一般作為提示出現(xiàn)在ChatGPT響應的末尾。(ScienceInsider證實了ARC_Tracker的身份,但同意匿名,以便這位科學家和其他人可以使用該賬戶自由地批評ARC和政府政策,而不必擔心后果。)
ARC_Tracker的所有者說,科學家們可能認為ChatGPT產生了有意義的反饋,但它本質上只是在重復提案。不可否認,一些人類審稿人也會這樣做。但是,這位科學家在給ScienceInsider的一封電子郵件中寫道:“適當?shù)膶彶閼撘w現(xiàn)洞察力,提供批評、知情意見和專家評估,與僅僅是對提案中已有內容的總結之間存在很大的區(qū)別。”
然而,也有一些研究人員表示,AI提供了一個改善同行評議過程的機會。愛荷華大學的精神病遺傳學家Jake Michaelson說,NIH的禁令是“科技恐懼癥讓他們錯失積極改變的機會”。Michaelson說,審稿人可以使用這些工具來檢查他們的評論,看看他們是否忽略了提案中的任何內容,幫助他們評估自己領域之外的內容,并且完善他們不恰當?shù)恼Z言!拔艺J為AI終將成為同行評審過程的第一線,而人類專家將補充第一線的人工智能評審。我寧愿讓ChatGPT來審核我自己的提案,也不愿讓一個懶惰的人類審稿人來審核。”
隨著時間的推移,形勢可能會發(fā)生變化。幾位科學家在NIH的博客上指出,一些生成式AI可以離線工作,并且不會侵犯隱私。NIH回應說,它希望為“快速發(fā)展的領域”“提供額外的指導”。
西北大學倫理學博士后研究員Mohammad Hosseini在手稿審查中寫過關于AI的文章,他認為NIH的禁令目前是合理的:“考慮到NIH處理的問題和項目的敏感性,以及AI工具的新穎性,采取謹慎的態(tài)度是絕對必要的!
參考資料:
https://www.science.org/content/article/science-funding-agencies-say-no-using-ai-peer-review
資訊| 各大科學資助機構拒絕使用AI進行同行評議 |