如果將美國憲法輸入某些AI寫作檢測工具，它會說這很可能是AI生成的。但這不可能是事實。為什么AI寫作檢測工具會產(chǎn)生錯誤的結果？
在新聞報道中，過于熱心的教授因為懷疑學生使用AI寫作工具而讓整個班級不及格，以及孩子們被誤認為使用了ChatGPT，這讓教育界感到震驚。一些人認為這代表了一種生存危機。盡管可以依賴AI工具來檢測AI生成的文本，但目前的證據(jù)表明它們不可靠。由于錯誤的警報，AI寫作檢測器如GPTZero、ZeroGPT和OpenAI的文本分類器不能被信任來檢測由大型語言模型(LLM)如ChatGPT編寫的文本。
為了解釋為什么這些工具會犯這樣明顯的錯誤，我們需要理解AI檢測背后的概念。
不同的 AI 寫作檢測器使用略有不同的檢測方法，但基本原理是相同的：有一個 AI 模型，它已經(jīng)在一個大型文本庫(包含數(shù)百萬個寫作示例)上進行訓練，并有一組推測規(guī)則來確定寫作是更有可能由人類或 AI 生成的。
例如，GPTZero 的核心是一個神經(jīng)網(wǎng)絡，它在“一個大型、多樣化的人類寫作和 AI 生成文本語料庫上進行訓練，重點是英語散文”，根據(jù)該服務的常見問題解答。接下來，系統(tǒng)使用屬性如“困惑度”和“爆發(fā)性”來評估文本并進行分類。
在機器學習中，困惑度是衡量一段文本與 AI 模型在訓練期間學到的程度相差多少的度量。因此，測量困惑度的思路是，當 AI 模型(如 ChatGPT)寫文本時，它們會自然而然地求助于它們最了解的東西，這來自它們的訓練數(shù)據(jù)。輸出越接近訓練數(shù)據(jù)，困惑度評分就越低。人類是更加混沌的寫作者，但人類也可以用低困惑度寫作，尤其是在模仿法律或某些類型的學術寫作中使用的正式風格。此外，我們使用的許多短語都出乎意料地常見。
例如，假設我們正在猜測短語“我想要一杯 _____”的下一個詞。大多數(shù)人會填寫“水”、“咖啡”或“茶”。一個在大量英語文本上進行訓練的語言模型也會這樣做，因為這些短語在英語寫作中很常見。任何這三種結果的困惑度都將非常低，因為預測是相當可靠的。
現(xiàn)在考慮一個不那么常見的補充：“我想要一杯蜘蛛?！?人類和訓練有素的語言模型都會對這句話感到非常驚訝(或“困惑”)，所以它的困惑度會很高。
如果一段文本中的語言根據(jù)模型的訓練沒有令人驚訝，那么困惑度就會很低，因此 AI 檢測器會更有可能將該文本分類為 AI 生成的。這將我們引出美國憲法這個有趣的案例。本質上，憲法語言在這些模型中根深蒂固，以至于它們將其歸類為 AI 生成，從而產(chǎn)生了假陽性。
GPTZero 的創(chuàng)建者 Edward Tian說：“美國憲法是一篇被反復輸入到許多大型語言模型的訓練數(shù)據(jù)中。因此，許多這些大型語言模型都被訓練生成類似于憲法和其他常用訓練文本的文本。GPTZero 預測可能由大型語言模型生成的文本，因此發(fā)生了這種奇妙的現(xiàn)象?！?/p>
問題在于，人類作者也可能創(chuàng)建低困惑度的內容，這極大地損害了 AI 寫作檢測器的可靠性。
GPTZero 還測量文本的另一個屬性是“爆發(fā)性”，它指的是某些詞或短語在一段文本中以快速的序列或“爆發(fā)”出現(xiàn)的現(xiàn)象。本質上，爆發(fā)性評估了一段文本中句子長度和結構的變化程度。
人類作者通常會采用動態(tài)的寫作風格，導致文本具有可變的句子長度和結構。例如，我們可能會寫一個長而復雜的句子，然后是一個短而簡單的句子，或者我們可能會在一個句子中使用一連串的形容詞，而在另一個句子中沒有任何形容詞。這種可變性是人類創(chuàng)造力和即興發(fā)揮的自然結果。
鑒于 AI 寫作檢測器的錯誤報警率很高，并且可能會不公平地懲罰非母語英語使用者，很明顯，檢測 AI 生成文本的技術還遠非萬無一失——而且可能永遠不會是。人類可以像機器一樣寫作，機器也可以像人類一樣寫作。一個更有幫助的問題可能是：使用機器輔助寫作的人類是否理解他們在說什么？如果有人在使用 AI 工具來填寫他們不理解的事實內容，那么一個有能力的讀者或老師應該很容易就發(fā)現(xiàn)了。
如果老師也是該學科的專家，他們可以對學生的寫作進行測試，以了解他們是否真正理解其中的內容。寫作不僅僅是知識的展示，也是一個人聲譽的體現(xiàn)。如果作者不能為寫作中包含的所有事實負責，那么 AI 輔助就沒有被正確使用。
像任何工具一樣，語言模型可以被使用得好或使用得不好。而這種技能也取決于上下文：你可以用畫筆畫滿一整面墻，也可以畫出蒙娜麗莎。這兩種場景都是合適的工具使用方法，但每一種都需要不同水平的人類注意力和創(chuàng)造力。同樣，一些重復性的寫作任務(例如生成標準化的天氣預報)可以通過 AI 適當?shù)丶铀?，而更復雜的任務則需要更多的人力和關注。沒有簡單的黑白答案。
本文譯自 Ars Technica，由 bali 編輯發(fā)布。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
