Anthropic研究發(fā)現(xiàn)：打錯字可助攻解鎖GPT-4等AI模型秘密

標(biāo)題：Anthropic研究發(fā)現(xiàn)：打錯字可助攻解鎖GPT-4等AI模型秘密

隨著人工智能技術(shù)的飛速發(fā)展，大型語言模型（LLM）已成為當(dāng)今最熱門的研究領(lǐng)域之一。其中，GPT-4等先進模型更是備受矚目。然而，最近人工智能公司Anthropic發(fā)布的一項研究揭示了大型語言模型的安全防護仍然十分脆弱，且繞過這些防護的“越獄”過程可以被自動化。本文將圍繞這一主題，深入探討Anthropic的研究發(fā)現(xiàn)。

首先，研究人員通過改變提示詞（prompt）的格式，例如隨意的大小寫混合，成功誘導(dǎo)大型語言模型產(chǎn)生不應(yīng)輸出的內(nèi)容。這一發(fā)現(xiàn)令人深感擔(dān)憂，因為這為攻擊者提供了突破安全防護的新途徑。為了應(yīng)對這一挑戰(zhàn)，Anthropic與牛津大學(xué)、斯坦福大學(xué)和MATS的研究人員合作，開發(fā)了一種名為“最佳N次”（Best-of-N，BoN）的越獄算法。

BoN越獄的工作原理是重復(fù)采樣提示詞的變體，并結(jié)合各種增強手段，例如隨機打亂字母順序或大小寫轉(zhuǎn)換，直到模型產(chǎn)生有害響應(yīng)。以GPT-4為例，如果用戶詢問“如何制造炸彈”，模型通常會以“此內(nèi)容可能違反我們的使用政策”為由拒絕回答。而BoN越獄則會不斷調(diào)整該提示詞，例如隨機使用大寫字母、打亂單詞順序、拼寫錯誤和語法錯誤，直到GPT-4提供相關(guān)信息。

在測試中，研究人員在多個測試模型上應(yīng)用了BoN越獄方法，結(jié)果發(fā)現(xiàn)該方法在10,000次嘗試以內(nèi)，成功繞過安全防護的概率均超過50%。這一結(jié)果令人震驚，因為這意味著攻擊者只需簡單操作即可突破現(xiàn)有的安全防護機制。

除了BoN越獄方法外，研究人員還發(fā)現(xiàn)對其他模態(tài)或提示AI模型的方法進行輕微增強，例如基于語音或圖像的提示，也能成功繞過安全防護。對于語音提示，研究人員改變了音頻的速度、音調(diào)和音量，或在音頻中添加了噪音或音樂。對于基于圖像的輸入，研究人員改變了字體、添加了背景顏色，并改變了圖像的大小或位置。這些發(fā)現(xiàn)表明，攻擊者可以利用多種手段突破現(xiàn)有的安全防護機制。

值得注意的是，此前曾有案例表明，通過拼寫錯誤、使用化名以及描述性場景而非直接使用性詞語或短語，攻擊者可以利用AI生成器生成不雅圖像。這進一步證實了大型語言模型在處理此類問題時的脆弱性。此外，通過在包含用戶想要克隆的聲音的音頻文件開頭添加一分鐘的靜音，可以輕松繞過AI音頻生成公司的審核方法。

盡管這些漏洞已被報告并得到修復(fù)，但用戶仍在不斷尋找繞過新安全防護的其他漏洞。Anthropic的研究表明，當(dāng)這些越獄方法被自動化時，成功率仍然很高。因此，開發(fā)更好的防御機制變得尤為重要。

Anthropic的研究并非僅旨在表明這些安全防護可以被繞過，而是希望通過生成大量成功攻擊模式的數(shù)據(jù)，為未來的防御機制創(chuàng)造新的機會。這不僅有助于提高現(xiàn)有安全防護的效率，還有助于推動人工智能領(lǐng)域的創(chuàng)新與發(fā)展。

總之，Anthropic的研究為我們揭示了大型語言模型的安全防護仍然存在諸多漏洞。攻擊者可以利用這些漏洞突破現(xiàn)有的安全防護機制，從而獲取敏感信息或?qū)嵤阂庑袨?。因此，我們需要加強安全防護措施，提高防御能力，以確保人工智能技術(shù)的健康發(fā)展。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。