極客網(wǎng)·人工智能8月11日 大家知道，宣傳中的ChatGPT能夠采用多種語言編寫代碼，包括Python和Java，但最新的一項研究卻讓人驚掉下巴！
根據(jù)美國普渡大學最近開展的研究，ChatGPT提交給StackOverflow有關(guān)數(shù)百個軟件開發(fā)問題的回答，有一半以上是錯誤的。
研究人員還發(fā)現(xiàn)，與人類用戶在Stack Overflow上提交的答案相比，34%的用戶更喜歡ChatGPT給出的答案，盡管AI系統(tǒng)生成的答案中包含一些錯誤。
專家對此表示，如果開發(fā)人員繼續(xù)依賴ChatGPT來解決他們的編程困境，他們的職業(yè)聲譽將面臨風險。
ChatGPT回答編程問題錯誤率過半
ChatGPT是OpenAI于2022年11月推出的聊天機器人，其背后的關(guān)鍵技術(shù)是GPT大語言模型，其底層模型也被用于創(chuàng)建開發(fā)人員廣泛使用的微軟Github編碼助理Copilot。
普渡大學的這項研究首次全面考察了ChatGPT對定期在線分享的問題給出回答的特點和可用性。該團隊讓ChatGPT回答了此前發(fā)布在Stack Overflow上的517個問題，對比正確答案發(fā)現(xiàn)錯誤率超過一半。
隨著ChatGPT在全球各地的風靡，Stack Overflow在今年早些時候禁止了AI生成的回復。當時，Stack Overflow將ChatGPT給出的答案描述為“表面上很好，但有很多錯誤”。
Stack Overflow的一位發(fā)言人當時解釋說:“ChatGPT和其他生成式AI技術(shù)給出的答案，對于那些提出問題并尋找正確答案的用戶來說是有害的?！?nbsp;
自從發(fā)布以來，OpenAI對ChatGPT平臺和底層模型進行了逐步改進，但是來到GPT-4后，其回答仍然不準確。Stack Overflow后續(xù)也接受并采用了AI技術(shù)，但僅僅只是用于對其內(nèi)容進行分類。
普渡大學在研究中發(fā)現(xiàn)，ChatGPT給出的一半以上的答案是錯誤的，因為它沒有正確理解問題的概念。研究人員在報告中寫道，“即使ChatGPT能夠理解問題，它也無法理解如何解決問題。它經(jīng)常關(guān)注問題的錯誤部分，或者在沒有完全理解問題微小細節(jié)的情況下給出高水平的解決方案?！?/p>
研究人員還發(fā)現(xiàn)，ChatGPT的推理能力也很有限，這導致它在不考慮結(jié)果的情況下創(chuàng)造解決方案、代碼和公式。
據(jù)報道，OpenAI也已意識到此中不足。作為應對，OpenAI在ChatGPT中添加了一個代碼解釋器，允許AI在沙箱中運行它創(chuàng)建的代碼，以檢查錯誤并評估輸出質(zhì)量，驗證最終響應進行更改并提供更準確的解決方案。然而，這一功能仍處于測試階段，而且僅對ChatGPT Plus的用戶可用。
開發(fā)人員依賴ChatGPT答案面臨風險
然而，盡管ChatGPT有明顯的缺點，而且77%的回復比人類的回復更冗長，但許多用戶仍然依賴ChatGPT來回答他們有關(guān)編程的緊迫問題。
研究員宣稱，“由于ChatGPT的全面性和清晰的語言風格，39.34%的用戶仍然喜歡它給出的答案。我們的研究結(jié)果表明，有必要仔細檢查和糾正ChatGPT中的錯誤，同時讓用戶意識到看似正確的ChatGPT答案所帶來的風險?！?nbsp;
IT 咨詢和服務提供商Doherty Associates企業(yè)架構(gòu)總監(jiān)Owen Morris說，使用AI有很多好處，但也有缺點，用戶在使用ChatGPT等平臺之前應該始終考慮到這一點。
他說:“像ChatGPT這樣的工具根據(jù)訓練過的數(shù)據(jù)(包括從互聯(lián)網(wǎng)和其他來源抓取的數(shù)據(jù))提供見解，但也會保留他們的偏見，因此人類的參與對于準確性和附加值仍然至關(guān)重要。重要的是要記住利用自己的團隊，這樣他們就可以貢獻他們自己的領域特定知識和數(shù)據(jù)，以增強模型的適用性?！?nbsp;
他警告，如果沒有人為監(jiān)督將ChatGPT提供的有關(guān)軟件開發(fā)的回答進行批判性評估，將不正確或有害的信息納入開發(fā)工作中，開發(fā)人員將面臨很大的風險，包括影響編程質(zhì)量，甚至影響他們的職業(yè)聲譽。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
