科學(xué)研究在發(fā)表之前必須經(jīng)過其他科學(xué)家的審查，但一些研究人員表示，他們發(fā)現(xiàn)ChatGPT提供的反饋更有用。
ChatGPT可以為研究人員提供有用的反饋，建議它可以補(bǔ)充人類同行評(píng)審的過程，幫助科學(xué)期刊決定哪些研究應(yīng)該發(fā)表。但是，其他人對(duì)ChatGPT在同行評(píng)審中是否起作用持懷疑態(tài)度。
同行評(píng)審是科學(xué)出版的重要組成部分。然而，許多期刊和研究會(huì)議都在努力招募足夠多的人類同行評(píng)審人員，這些人通常免費(fèi)志愿評(píng)估越來越多的提交論文。
斯坦福大學(xué)的James Zou表示：“研究人員很難從評(píng)審人員那里得到高質(zhì)量的反饋?！薄斑@促使我們?nèi)L試使用像ChatGPT這樣的大型語(yǔ)言模型為這些研究人員提供反饋。”
Zou和他的同事首先請(qǐng)OpenAI的ChatGPT - 具體來說是基于人工智能模型GPT-4的聊天機(jī)器人版本 - 為超過3000份提交并被《自然》系列期刊接受的手稿提供建設(shè)性的反饋，這些手稿經(jīng)過了標(biāo)準(zhǔn)的同行評(píng)審。他們還要求聊天機(jī)器人審查超過1700篇來自國(guó)際學(xué)習(xí)表示會(huì)議(ICLR)的論文，這是世界上最大的機(jī)器學(xué)習(xí)會(huì)議之一。然后，他們將AI的評(píng)論內(nèi)容與評(píng)估相同論文的人類評(píng)審人員的意見進(jìn)行了比較。
ChatGPT對(duì)《自然》論文的反饋超過一半都提出了至少一名科學(xué)家的意見。對(duì)于ICLR會(huì)議論文，ChatGPT超過77％的評(píng)論都提出了至少一名人類評(píng)審人員提出的意見。
此外，該研究還使用ChatGPT為數(shù)百篇尚未經(jīng)過同行評(píng)審但最近被上傳到預(yù)印服務(wù)器的論文提供反饋。佐伊和他的同事調(diào)查了308位作者 - 他們都是人工智能和計(jì)算生物學(xué)領(lǐng)域的研究人員 - 對(duì)這些評(píng)論的印象。
盡管他們沒有直接將其與任何人類評(píng)審人員的評(píng)論進(jìn)行比較，但超過82％的研究人員認(rèn)為ChatGPT的反饋通常比他們過去收到的某些反饋更有益。
但是，該研究缺乏關(guān)于AI生成的反饋與人類評(píng)審意見不同的情況的詳細(xì)信息，“掩蓋了AI生成的評(píng)論可能極具偏見或錯(cuò)誤的程度”，伊利諾伊州西北大學(xué)的Mohammad Hosseini表示。
Zou表示，他們調(diào)查的一些研究人員認(rèn)為ChatGPT的反饋過于籠統(tǒng)，缺乏技術(shù)細(xì)節(jié)。他認(rèn)為AI可以為研究人員提供一些論文的初步評(píng)論。但他警告說，評(píng)審人員不應(yīng)依賴ChatGPT來完成他們的工作。“我們?nèi)匀恍枰哔|(zhì)量的人類評(píng)審人員，”他說。
Zou和他的同事已將他們的工作發(fā)布在網(wǎng)絡(luò)上 - 但它尚未經(jīng)過同行評(píng)審并由科學(xué)期刊發(fā)表。
本文譯自 New Scientist，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
