版權(quán)陷阱技術(shù)可幫助創(chuàng)作者檢測其作品是否被AI模型擅自使用。
自生成式人工智能興起以來，內(nèi)容創(chuàng)作者一直認為他們的作品未經(jīng)同意被用于AI模型訓(xùn)練。然而，直到現(xiàn)在，要確定具體文本是否被用作訓(xùn)練數(shù)據(jù)集仍然十分困難。
現(xiàn)在，他們有了一種新方法來證明這一點：由倫敦帝國理工學(xué)院團隊開發(fā)的“版權(quán)陷阱”。這些隱藏文本可以讓作家和出版商微妙地標記他們的作品，以便以后檢測它們是否被用于AI模型中。這一理念類似于歷史上版權(quán)持有者使用的陷阱策略，比如在地圖上加入虛假位置或在字典中加入虛假詞語。
這些AI版權(quán)陷阱涉及AI領(lǐng)域的一個重大爭議。一些出版商和作家正對科技公司提起訴訟，聲稱他們的知識產(chǎn)權(quán)未經(jīng)許可被用作AI訓(xùn)練數(shù)據(jù)集。紐約時報對OpenAI的訴訟可能是這些案件中最引人注目的一起。
生成和檢測陷阱的代碼目前在GitHub上可用，但該團隊還計劃構(gòu)建一個工具，讓人們可以自己生成和插入版權(quán)陷阱。
“在用于訓(xùn)練模型的內(nèi)容方面完全缺乏透明度，我們認為這妨礙了在AI公司和內(nèi)容創(chuàng)作者之間找到平衡，”研究負責(zé)人、倫敦帝國理工學(xué)院應(yīng)用數(shù)學(xué)與計算機科學(xué)副教授Yves-Alexandre de Montjoye表示。這項研究在本周于維也納舉行的國際機器學(xué)習(xí)會議上發(fā)布。
為了創(chuàng)建這些陷阱，團隊使用了一個詞語生成器生成了數(shù)千個合成句子。這些句子很長且充滿無意義的詞語，看起來可能像這樣：“當處于動蕩時期……什么在銷售，更重要的是什么時候，這個列表告訴你誰在周四晚上開門，他們的常規(guī)銷售時間和其他鄰居的開門時間。你仍然?！?/p>
團隊生成了100個陷阱句子，然后隨機選擇一個多次注入到文本中，de Montjoye解釋說。陷阱可以通過多種方式注入文本中，例如作為白色背景上的白色文字，或嵌入文章的源代碼中。這句話必須在文本中重復(fù)100到1000次。
為了檢測陷阱，他們將生成的100個合成句子輸入一個大型語言模型，看看它是否將它們標記為新的。如果模型在其訓(xùn)練數(shù)據(jù)中見過一個陷阱句子，它會顯示較低的“驚訝度”(也稱為“困惑度”)得分。但如果模型對句子感到“驚訝”，則意味著它是第一次遇到它們，因此它們不是陷阱。
過去，研究人員曾建議利用語言模型記住其訓(xùn)練數(shù)據(jù)的事實來確定某些內(nèi)容是否出現(xiàn)在數(shù)據(jù)中。這種技術(shù)稱為“成員推斷攻擊”，在大型最先進的模型中效果顯著，因為它們在訓(xùn)練過程中往往會記住大量數(shù)據(jù)。
相比之下，越來越受歡迎的小型模型可以在移動設(shè)備上運行，這些模型記住的數(shù)據(jù)較少，因此對成員推斷攻擊的敏感性較低，這使得確定它們是否在特定的版權(quán)文檔上進行訓(xùn)練變得更困難，滑鐵盧大學(xué)計算機科學(xué)助理教授Gautam Kamath(未參與此研究)表示。
版權(quán)陷阱是一種即使在小型模型上也能進行成員推斷攻擊的方法。團隊將他們的陷阱注入到CroissantLLM的訓(xùn)練數(shù)據(jù)集中，這是一種由帝國理工團隊合作的一組行業(yè)和學(xué)術(shù)研究人員從頭訓(xùn)練的新型法語-英語雙語語言模型。CroissantLLM有13億參數(shù)，相比之下，最先進的模型(如據(jù)報道的GPT-4)有1.76萬億參數(shù)。
Kamath表示，這項研究表明，確實可以將這種陷阱引入文本數(shù)據(jù)中，從而顯著提高成員推斷攻擊的效率，即使是針對小型模型。但他補充說，還有很多工作要做。
在文檔中重復(fù)一個75字的短語1000次是對原始文本的重大修改，這可能會讓訓(xùn)練AI模型的人檢測到陷阱并跳過包含它的內(nèi)容，或者只是刪除它并訓(xùn)練其余文本，Kamath說。這也使得原始文本難以閱讀。
加州大學(xué)歐文分校計算機科學(xué)教授、Spiffy AI初創(chuàng)公司聯(lián)合創(chuàng)始人Sameer Singh(未參與此研究)表示，這使得版權(quán)陷阱在目前不太實用?！昂芏喙緯M行去重處理，清理數(shù)據(jù)，大量這類東西可能會被清理掉，”Singh說。
Kamath表示，改進版權(quán)陷阱的一種方法是找到其他標記版權(quán)內(nèi)容的方法，以便成員推斷攻擊在它們上面更有效，或者改進成員推斷攻擊本身。
De Montjoye承認，這些陷阱并非萬無一失。他說，一個知道陷阱的有動機的攻擊者可以移除它們。
“是否能移除所有的陷阱還是一個懸而未決的問題，這可能會是一場貓捉老鼠的游戲，”他說。但即便如此，應(yīng)用的陷阱越多，移除所有陷阱就越困難，而不需要大量的工程資源。
“需要記住的是，版權(quán)陷阱可能只是一個權(quán)宜之計，或者對模型訓(xùn)練者來說僅僅是個不便，”Kamath說?！鞍l(fā)布一份包含陷阱的內(nèi)容并不能保證它永遠是一個有效的陷阱?！?/p>
本文譯自 MIT Technology Review，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
