大語言模型，救不了“網(wǎng)絡(luò)暴民”

語言可以殺人——網(wǎng)絡(luò)時代，相信沒人會否認(rèn)這一點。

語言攻擊，是最具代表性的網(wǎng)絡(luò)暴力之一。謾罵剛失去兒子的母親，詆毀女孩的粉色頭發(fā)，嘲笑男性的氣質(zhì)“太娘”，炮制莫須有的黃色謠言……無數(shù)侮辱性的語言，在網(wǎng)絡(luò)間橫行無阻，給他人帶來了無窮無盡的精神傷害。

語言暴力，已經(jīng)成為網(wǎng)絡(luò)治理的全球性難題。

各種方案被使出，但都無法有效阻止“網(wǎng)絡(luò)暴民”的增加和語言暴力的橫行。其中，技術(shù)層面的解決思路，就是利用AI算法來自動檢測有毒語言，按照攻擊性來設(shè)定毒性評分，并對高毒性語言進(jìn)行預(yù)防處理，比如屏蔽、心理干預(yù)等。

但由于語言的模糊性，此前的機器學(xué)習(xí)算法魯棒性不強，很容易做出錯誤判斷，導(dǎo)致識別和干預(yù)的結(jié)果并不理想，仍然需要大量人工審核員。不僅處理效率低下，而且長期閱讀有毒語言也會傷害人類審核員的心理健康。

ChatGPT這類大語言模型，憑借強大的魯棒性和泛化能力，展現(xiàn)出了前所未有的語言理解力。

按理說，本著“技術(shù)向善”的宗旨，大語言模型應(yīng)該被用來更有效、高效地預(yù)防網(wǎng)絡(luò)暴力，但為什么迄今為止，我們?nèi)匀粵]有見到相關(guān)應(yīng)用？反倒是利用大語言模型生成更多有害內(nèi)容的“技術(shù)作惡”大行其道。

大語言模型，也救不了“網(wǎng)絡(luò)暴民”，難道我們注定只能在有毒網(wǎng)絡(luò)環(huán)境下“數(shù)字化生存”嗎？

大語言模型，內(nèi)容檢測技術(shù)的一大步

預(yù)防，是治理網(wǎng)絡(luò)暴力最重要的環(huán)節(jié)。利用AI內(nèi)容檢測來預(yù)防網(wǎng)絡(luò)暴力，相關(guān)研究已經(jīng)有數(shù)年歷史了。

2015年就有人提出，個體的情緒狀態(tài)就與有害意圖之間存在顯著關(guān)聯(lián)，使用機器學(xué)習(xí)來檢測社交媒體中的有害行為，被認(rèn)為是網(wǎng)絡(luò)暴力檢測的良好指標(biāo)。

也就是說，一個人在生活遭遇了劇變、坎坷或感到低落、郁悶等情緒狀態(tài)不佳時，就容易在網(wǎng)絡(luò)上發(fā)出仇恨、攻擊、詆毀等冒犯性語言。

2017年，谷歌的Jigsaw創(chuàng)建了Conversation AI，檢測在線有毒評論。許多科技巨頭，多年來一直在將算法納入其內(nèi)容審核中，都有一套對網(wǎng)絡(luò)信息內(nèi)容進(jìn)行識別和過濾的手段。比如國內(nèi)某短視頻平臺，就研發(fā)了100多個智能識別模型，來提前攔截辱罵內(nèi)容，但該平臺依然是網(wǎng)暴的“重災(zāi)區(qū)”。某問答平臺，會對評論內(nèi)容進(jìn)行識別，對有風(fēng)險的內(nèi)容進(jìn)行提醒，直到用戶修改才允許發(fā)出。

但顯而易見，這些AI檢測算法也并沒有根除網(wǎng)暴，網(wǎng)友對平臺治理網(wǎng)暴的批評仍是“不作為”“沒效果”。原因之一，是傳統(tǒng)的機器學(xué)習(xí)算法，不能滿足網(wǎng)絡(luò)內(nèi)容的審查需求：

1.理解力不夠。有害語言非常難以區(qū)分，而AI算法的語義理解能力不夠強，經(jīng)常會將有害評論和無害評論給出相同的分?jǐn)?shù)，沒有真正過濾掉那些不尊重的評論，或者給中性句子更低的分?jǐn)?shù)，過濾了不該過濾的正常評論，阻礙了博主和粉絲的交流。

2.靈活性不夠。某些網(wǎng)站可能要求檢測攻擊語言，但不需要檢測謠言，而其他網(wǎng)站的要求可能恰好相反。傳統(tǒng)的AI檢測工具往往使用一個通用的“毒性評分”，不夠靈活，無法滿足不同平臺的不同需求。

3.更新速度不夠。很多檢測算法是使用API來工作的，而這些模型通過大量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，在與訓(xùn)練數(shù)據(jù)相似的示例上表現(xiàn)良好，一旦遇到不熟悉的有毒語言，比如涉及飯圈的討論會有很多黑話、yyds之類的拼音簡寫，以及不斷新造的詞語，很可能就會失敗。某社交媒體平臺，一開始設(shè)置了一百多個禁發(fā)關(guān)鍵詞，比如一些臟話、“綠茶婊”“怎么不去死”等，如今已經(jīng)增加到了700多個。所以，AI模型缺乏高效實時的人類反饋，無法快速微調(diào)并迭代模型，從而導(dǎo)致自動化檢測的效果不佳。

我們知道，大語言模型具備智能涌現(xiàn)、預(yù)訓(xùn)練、人類反饋的強化學(xué)習(xí)等特點，這就對傳統(tǒng)方法帶來了很大的助力，更強的語言理解能力，使用通用模型可以很快訓(xùn)練出精度更高的定制模型，同時借助人類反饋查漏補缺，獲得更好更快的檢測效果。

防范網(wǎng)絡(luò)暴力，已經(jīng)成為各國互聯(lián)網(wǎng)治理的重點，平臺也能因此建立起更良好的社區(qū)氛圍，所以大語言模型在檢測有害語言方面，應(yīng)該能大展拳腳才對。

但為什么這一波大語言模型的浪潮中，我們很少見到將LLM用于預(yù)防網(wǎng)絡(luò)暴力的探索呢？

AI，防范語言暴力的一小步

在AI技術(shù)體系內(nèi)部來看，從傳統(tǒng)NLP到大語言模型，是一個自然語言理解的飛躍式進(jìn)步。但走到更大的現(xiàn)實中，AI的一大步，也只是將問題解決向前推進(jìn)了一點點。

作用不能說沒有，但也很有限。應(yīng)對網(wǎng)絡(luò)中的語言攻擊，AI的力量仍然弱小。

首先，敵人數(shù)量太龐大。

康奈爾大學(xué)信息科學(xué)部門的丹尼斯庫表示，很多時候，你我這樣的普通人都會成為網(wǎng)絡(luò)暴力的幫兇。當(dāng)為數(shù)不少的網(wǎng)民自身積怨和不滿得不到緩解之時，會對周圍事物看不慣，在互聯(lián)網(wǎng)上用語言攻擊他人，來緩解負(fù)面情緒。

此前《三聯(lián)生活周刊》有一篇報道，某位網(wǎng)絡(luò)暴力受害者已經(jīng)去世，作者聯(lián)系到的一些施暴者則回應(yīng)稱“忘記自己當(dāng)時做過了什么”。

許多網(wǎng)暴者平時看起來是非常正常的，會在某些時刻、某些偶然事件后，短暫地化身“語言惡魔”，然后“事了拂衣去，深藏身與名”，即使是AI，也很難及時準(zhǔn)確地判定出，哪些人存在攻擊可能。

此外，語言攻擊越來越隱蔽。

AI自動檢測技術(shù)發(fā)展到今天，一些明顯有害的言論，比如威脅、隱晦、辱罵等，已經(jīng)可以被直接屏蔽掉了，但人類用語言傷害人的“創(chuàng)造力”是很大的，很多在機器看來中性化的語言，也可能惡意滿滿。

比如此前校園事故中痛失孩子的母親，就被大量評論“她怎么看起來不傷心”“她怎么還有心思打扮”，看似并沒有什么侮辱性語言，但這些質(zhì)疑累加在一起，卻形成了對受害者的“道德審判”。

對于隱蔽的攻擊性語言，目前的NLP模型還有比較大的局限性，語言背后的實際、細(xì)微的含義，很難被捕捉到，依然需要人工審核的干預(yù)。

而平臺監(jiān)測語言暴力，并沒有一個通行的判定體系，往往是各個平臺自己酌定。比如知乎會判定邪路隱私、辱罵臟話、扣帽子、貼負(fù)面標(biāo)簽等行為。豆瓣則會處理諷刺、抬杠、拱火、歧視偏見等。不過，這些標(biāo)準(zhǔn)都有很大的主觀成分，所以大家會看到“掛一漏萬”的現(xiàn)象，一些很正常的發(fā)言被斃掉，一些明顯煽動情緒的發(fā)言沒有被及時處理。

另外，網(wǎng)絡(luò)信息的“巴爾干化”。

巴爾干化，指的是一些四分五裂的小國家，互相敵對或沒有合作的情況。一項研究顯示，互聯(lián)網(wǎng)雖然消除了地理屏障，讓不同地區(qū)的人可以低成本地相互交流，但卻造成了觀念上的“巴爾干化”，輿論上的分離割裂程度越來越嚴(yán)重。

網(wǎng)絡(luò)信息的推送機制，算法設(shè)計還不夠科學(xué)，偏好設(shè)置過于狹窄，采用關(guān)鍵詞聯(lián)想、通訊錄關(guān)聯(lián)、圖網(wǎng)絡(luò)等過濾方式，類似“吃了一個饅頭=喜歡吃饅頭=再來一百個饅頭”“你媽愛吃饅頭，你也一定愛吃”“饅頭=更適合中國寶寶體質(zhì)的吐司=看看吐司”。人們長期停留在有限的信息范圍內(nèi)，對自己感興趣的內(nèi)容之外的信息很少涉獵，和其他群體之間的觀念間隙會越來越大。

信息獲取機制的“巴爾干化”，會導(dǎo)致輿論“極化”，就是一個觀點反復(fù)發(fā)酵，從而引發(fā)大規(guī)模的跟風(fēng)行為，網(wǎng)暴風(fēng)險也就提高了。

數(shù)量多、識別難、極化情緒嚴(yán)重，將互聯(lián)網(wǎng)變成了一個負(fù)面語言的游樂場。

技術(shù)之外，做得更多

當(dāng)然，AI防止網(wǎng)暴道阻且長，但咱們不能就此放棄努力。

大語言模型的出現(xiàn)，帶來了更強大的自動檢測潛力。媒體機構(gòu)基于通用模型，可以訓(xùn)練出更高精度、識別能力更強的行業(yè)大模型，用人類專業(yè)知識來增強模型效果，創(chuàng)建具有人類智能的AI檢測模型，從而支持更加復(fù)雜的內(nèi)容理解和審核決策，提高有害內(nèi)容的檢測效率。

升級技術(shù)之外，必須做的更多。預(yù)防網(wǎng)絡(luò)暴力，與其說是一個技術(shù)問題，不如說是一個社會問題。網(wǎng)絡(luò)信息環(huán)境不改變，攻擊語言還會不斷變種，增加技術(shù)檢測的難度與成本，這是用戶、平臺和社會所不堪承受的。

但此前，很多治理方法效果都不是很理想。

比如說，網(wǎng)絡(luò)匿名是暴力的“隱身衣”，于是實名制成為一項重要的治理手段，但效果并不理想。韓國是第一個施行網(wǎng)絡(luò)實名制的國家，于2005年10月提出要實行網(wǎng)絡(luò)實名制，但按照韓國的統(tǒng)計，實名制之后，網(wǎng)絡(luò)侵權(quán)行為從原來的13.9%降到了12.2%，僅降了1.7%。

立法也是被期待的一種。各國都在不斷推出法規(guī)，韓國《刑法》對網(wǎng)絡(luò)暴力最高判處七年有期徒刑，我國刑法、民法中也有相應(yīng)的規(guī)定，治理網(wǎng)絡(luò)暴力并非無法可依。但立法容易、執(zhí)法難。

網(wǎng)絡(luò)環(huán)境復(fù)雜，網(wǎng)暴攻擊的發(fā)動者難以確定，網(wǎng)暴一般是由大量跟帖評論等攻擊行為累加而成的，證據(jù)收集十分困難，容易滅失，“情節(jié)嚴(yán)重”難以認(rèn)定，維權(quán)周期長，網(wǎng)暴受害者的維權(quán)成本太高，最后大多不了了之，很難對施暴者產(chǎn)生實際的懲罰，助長了“法不責(zé)眾”的僥幸心理。

要改變“法不責(zé)眾”的難題，治本的辦法，是消除“無意識跟風(fēng)”的“眾”。

網(wǎng)暴不是一個人能完成的，除了少數(shù)發(fā)布者之外，大量攻擊言論，都來自是上頭了的跟風(fēng)者，是網(wǎng)民集體非理性行動的結(jié)果。

報紙時代、電視時代的單向傳播，只有少數(shù)群體有發(fā)言、評論的機會，而大眾在線下面對面交流時，也不會輕易侮辱攻擊別人。到了網(wǎng)絡(luò)時代，隨著智能手機的普及，所有人都可以直接在網(wǎng)絡(luò)上表達(dá)自己的意見，一旦媒體素養(yǎng)跟不上，信息識別能力不夠，那么面對真假難辨的網(wǎng)絡(luò)信息，煽動性的語言，就很容易沖動失控，無意識地加入網(wǎng)暴大軍。

很多人在評論時，并不一定經(jīng)過了理性的思考和判斷，只是看自己關(guān)注的博主那么說，或者很多人都在討伐，就跟風(fēng)批判，使網(wǎng)絡(luò)暴力升級。

對此，指責(zé)“網(wǎng)暴者”的行為偏激，反而又會形成新的“網(wǎng)暴”。“用魔法打敗魔法”，會嚴(yán)重擾亂了網(wǎng)絡(luò)話語生態(tài)。很多偶發(fā)性的“語言暴力”，是可以通過個人媒體素養(yǎng)的提高去規(guī)避的。

這就需要專業(yè)媒體機構(gòu)和有關(guān)部門，投入更多媒體資源，面對網(wǎng)絡(luò)時代，幫助人們習(xí)得更高的媒體素養(yǎng)，實現(xiàn)更文明、友好的“數(shù)字化生存”。

每個人內(nèi)心深處都有某種暴力沖動。正如羅翔老師所說，“我們遠(yuǎn)比自己想象的更偽善和幽暗，每個人心中都藏著一個張三”。

當(dāng)理性上升，當(dāng)一個人習(xí)得了自我控制的能力，那么“非理性”的暴力一定會減少。比起AI的韁繩，真正能消除網(wǎng)暴的，是每個人心中的道德律令。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。