科學研究在發(fā)表之前必須經(jīng)過其他科學家的審查，但一些研究人員表示，他們發(fā)現(xiàn)ChatGPT提供的反饋更有用。
ChatGPT可以為研究人員提供有用的反饋，建議它可以補充人類同行評審的過程，幫助科學期刊決定哪些研究應該發(fā)表。但是，其他人對ChatGPT在同行評審中是否起作用持懷疑態(tài)度。
同行評審是科學出版的重要組成部分。然而，許多期刊和研究會議都在努力招募足夠多的人類同行評審人員，這些人通常免費志愿評估越來越多的提交論文。
斯坦福大學的James Zou表示：“研究人員很難從評審人員那里得到高質(zhì)量的反饋?！薄斑@促使我們?nèi)L試使用像ChatGPT這樣的大型語言模型為這些研究人員提供反饋?！?/p>
Zou和他的同事首先請OpenAI的ChatGPT - 具體來說是基于人工智能模型GPT-4的聊天機器人版本 - 為超過3000份提交并被《自然》系列期刊接受的手稿提供建設性的反饋，這些手稿經(jīng)過了標準的同行評審。他們還要求聊天機器人審查超過1700篇來自國際學習表示會議(ICLR)的論文，這是世界上最大的機器學習會議之一。然后，他們將AI的評論內(nèi)容與評估相同論文的人類評審人員的意見進行了比較。
ChatGPT對《自然》論文的反饋超過一半都提出了至少一名科學家的意見。對于ICLR會議論文，ChatGPT超過77％的評論都提出了至少一名人類評審人員提出的意見。
此外，該研究還使用ChatGPT為數(shù)百篇尚未經(jīng)過同行評審但最近被上傳到預印服務器的論文提供反饋。佐伊和他的同事調(diào)查了308位作者 - 他們都是人工智能和計算生物學領域的研究人員 - 對這些評論的印象。
盡管他們沒有直接將其與任何人類評審人員的評論進行比較，但超過82％的研究人員認為ChatGPT的反饋通常比他們過去收到的某些反饋更有益。
但是，該研究缺乏關于AI生成的反饋與人類評審意見不同的情況的詳細信息，“掩蓋了AI生成的評論可能極具偏見或錯誤的程度”，伊利諾伊州西北大學的Mohammad Hosseini表示。
Zou表示，他們調(diào)查的一些研究人員認為ChatGPT的反饋過于籠統(tǒng)，缺乏技術細節(jié)。他認為AI可以為研究人員提供一些論文的初步評論。但他警告說，評審人員不應依賴ChatGPT來完成他們的工作?！拔覀?nèi)匀恍枰哔|(zhì)量的人類評審人員，”他說。
Zou和他的同事已將他們的工作發(fā)布在網(wǎng)絡上 - 但它尚未經(jīng)過同行評審并由科學期刊發(fā)表。
本文譯自 New Scientist，由 BALI 編輯發(fā)布。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
