原論文地址:https://arxiv.org/abs/2401.11817
摘要
幻覺一直被認(rèn)為是大型語言模型 (LLM) 的一個(gè)重大缺陷。許多研究試圖減少幻覺的產(chǎn)生,但迄今為止這些努力大多是經(jīng)驗(yàn)性的,無法回答幻覺是否可以完全消除這一根本性問題。該研究通過形式化方法證明 LLM 存在固有的幻覺問題,即 LLM 不可能完全避免生成與真實(shí)世界不符的信息;并探討了現(xiàn)有緩解幻覺的方法及其有效性,并強(qiáng)調(diào)了對(duì) LLM 安全性進(jìn)行嚴(yán)格研究的重要性。
簡介
大型語言模型 (LLM) 的出現(xiàn)標(biāo)志著人工智能領(lǐng)域,特別是自然語言處理領(lǐng)域的重要里程碑。這些模型擁有龐大的知識(shí)庫,能夠生成連貫且符合語境的相關(guān)文本,對(duì)研究、工業(yè)和社會(huì)產(chǎn)生了巨大影響。然而,LLM 面臨的一大挑戰(zhàn)是“幻覺”問題,即模型生成看似合理但事實(shí)錯(cuò)誤或毫無意義的信息。隨著 LLM 應(yīng)用廣泛,這個(gè)問題引起了人們越來越多的安全和倫理方面擔(dān)憂,并催生了大量試圖對(duì)其進(jìn)行分類、理解和緩解的研究。
先前研究從數(shù)據(jù)收集、訓(xùn)練到推理等方面發(fā)現(xiàn)了 LLM 產(chǎn)生幻覺的多種可能來源。例如,在綜述論文中,作者將自然語言生成中的幻覺歸因于啟發(fā)式數(shù)據(jù)收集、固有偏差、表示學(xué)習(xí)缺陷、錯(cuò)誤解碼、暴露偏差和參數(shù)知識(shí)偏差。
為緩解幻覺,人們提出了多種方法。例如,事實(shí)中心度量和基準(zhǔn)測試被用來衡量和減少特定數(shù)據(jù)集上的幻覺。檢索式方法通過知識(shí)圖或數(shù)據(jù)庫來增強(qiáng) LLM,幫助糾正模型輸出中的事實(shí)錯(cuò)誤。提示模型推理和驗(yàn)證其答案也被證明可以減少幻覺。
迄今為止,關(guān)于 LLM 幻覺的研究仍然主要是經(jīng)驗(yàn)性的。盡管經(jīng)驗(yàn)研究很有用,但它們無法回答一個(gè)根本性問題:幻覺是否可以完全消除?這個(gè)問題的答案至關(guān)重要,因?yàn)樗砻髁?LLM 能力的潛在上限。然而,由于不可能憑經(jīng)驗(yàn)枚舉和測試所有可能的輸入,因此如果不清晰地定義和形式化地分析幻覺,就無法正式討論這個(gè)問題。
在現(xiàn)實(shí)世界中,形式化地定義 LLM 的事實(shí)或邏輯錯(cuò)誤(即幻覺)極其困難。這是因?yàn)楝F(xiàn)實(shí)世界中語義的正式定義仍然是一個(gè)懸而未決的問題。因此,在這項(xiàng)工作中,我們嚴(yán)格定義了一個(gè)由可計(jì)算函數(shù)組成的形式世界,可以在其中對(duì)幻覺進(jìn)行精確的討論。在這個(gè)世界里,每當(dāng) LLM 無法完全復(fù)制可計(jì)算函數(shù)的輸出時(shí),就會(huì)發(fā)生幻覺。在此定義下,我們提出了一個(gè)基本結(jié)論:任何可計(jì)算的 LLM 都不可避免地會(huì)出現(xiàn)幻覺,這與模型架構(gòu)、學(xué)習(xí)算法、提示技術(shù)或訓(xùn)練數(shù)據(jù)無關(guān)。由于這個(gè)形式世界是現(xiàn)實(shí)世界的一部分,因此該結(jié)果也適用于現(xiàn)實(shí)世界中的 LLM。
基于理論結(jié)果,我們識(shí)別了一些現(xiàn)實(shí)世界中 LLM 可能出現(xiàn)幻覺的形式問題,并通過實(shí)證驗(yàn)證了這一識(shí)別。理論和實(shí)證結(jié)果引導(dǎo)我們討論了它們對(duì)正確使用 LLM 的實(shí)際影響。
本文的貢獻(xiàn)總結(jié)如下:
* 我們形式化地定義和討論了 LLM 的幻覺,并利用學(xué)習(xí)理論的成果證明了幻覺對(duì)于 LLM 是不可避免的。
* 實(shí)證研究表明,最先進(jìn)的 LLM 在一些現(xiàn)實(shí)世界問題中容易出現(xiàn)幻覺,這驗(yàn)證了理論結(jié)果。
* 我們討論了理論結(jié)果對(duì)設(shè)計(jì)緩解幻覺的方法和部署 LLM 在現(xiàn)實(shí)世界中的實(shí)際影響。
結(jié)論
本文研究了消除 LLM 幻覺的根本性問題。為此,我們定義了一個(gè)形式世界,可以在其中清晰地定義和討論 LLM 的幻覺。具體而言,幻覺被定義為可計(jì)算 LLM 和可計(jì)算的真實(shí)函數(shù)之間的不一致。利用學(xué)習(xí)理論的結(jié)果,我們證明了如果真實(shí)函數(shù)是任何可計(jì)算函數(shù),那么對(duì)于可計(jì)算的 LLM 來說,幻覺是不可避免的。既然形式世界是現(xiàn)實(shí)世界的一部分,我們進(jìn)一步得出結(jié)論,在現(xiàn)實(shí)世界的 LLM 中消除幻覺也是不可能的。利用形式世界框架,我們討論了現(xiàn)有緩解幻覺方法的可能機(jī)制和有效性,并討論了理論結(jié)果對(duì) LLM 在現(xiàn)實(shí)世界中部署的實(shí)際影響。我們強(qiáng)調(diào),由于幻覺不可避免,因此對(duì) LLM 安全性進(jìn)行嚴(yán)格研究至關(guān)重要。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )