大語言模型，救不了“網(wǎng)絡(luò)暴民”

語言可以殺人——網(wǎng)絡(luò)時(shí)代，相信沒人會(huì)否認(rèn)這一點(diǎn)。

語言攻擊，是最具代表性的網(wǎng)絡(luò)暴力之一。謾罵剛失去兒子的母親，詆毀女孩的粉色頭發(fā)，嘲笑男性的氣質(zhì)“太娘”，炮制莫須有的黃色謠言……無數(shù)侮辱性的語言，在網(wǎng)絡(luò)間橫行無阻，給他人帶來了無窮無盡的精神傷害。

語言暴力，已經(jīng)成為網(wǎng)絡(luò)治理的全球性難題。

各種方案被使出，但都無法有效阻止“網(wǎng)絡(luò)暴民”的增加和語言暴力的橫行。其中，技術(shù)層面的解決思路，就是利用AI算法來自動(dòng)檢測有毒語言，按照攻擊性來設(shè)定毒性評分，并對高毒性語言進(jìn)行預(yù)防處理，比如屏蔽、心理干預(yù)等。

但由于語言的模糊性，此前的機(jī)器學(xué)習(xí)算法魯棒性不強(qiáng)，很容易做出錯(cuò)誤判斷，導(dǎo)致識別和干預(yù)的結(jié)果并不理想，仍然需要大量人工審核員。不僅處理效率低下，而且長期閱讀有毒語言也會(huì)傷害人類審核員的心理健康。

ChatGPT這類大語言模型，憑借強(qiáng)大的魯棒性和泛化能力，展現(xiàn)出了前所未有的語言理解力。

按理說，本著“技術(shù)向善”的宗旨，大語言模型應(yīng)該被用來更有效、高效地預(yù)防網(wǎng)絡(luò)暴力，但為什么迄今為止，我們?nèi)匀粵]有見到相關(guān)應(yīng)用？反倒是利用大語言模型生成更多有害內(nèi)容的“技術(shù)作惡”大行其道。

大語言模型，也救不了“網(wǎng)絡(luò)暴民”，難道我們注定只能在有毒網(wǎng)絡(luò)環(huán)境下“數(shù)字化生存”嗎？

大語言模型，內(nèi)容檢測技術(shù)的一大步

預(yù)防，是治理網(wǎng)絡(luò)暴力最重要的環(huán)節(jié)。利用AI內(nèi)容檢測來預(yù)防網(wǎng)絡(luò)暴力，相關(guān)研究已經(jīng)有數(shù)年歷史了。

2015年就有人提出，個(gè)體的情緒狀態(tài)就與有害意圖之間存在顯著關(guān)聯(lián)，使用機(jī)器學(xué)習(xí)來檢測社交媒體中的有害行為，被認(rèn)為是網(wǎng)絡(luò)暴力檢測的良好指標(biāo)。

也就是說，一個(gè)人在生活遭遇了劇變、坎坷或感到低落、郁悶等情緒狀態(tài)不佳時(shí)，就容易在網(wǎng)絡(luò)上發(fā)出仇恨、攻擊、詆毀等冒犯性語言。

2017年，谷歌的Jigsaw創(chuàng)建了Conversation AI，檢測在線有毒評論。許多科技巨頭，多年來一直在將算法納入其內(nèi)容審核中，都有一套對網(wǎng)絡(luò)信息內(nèi)容進(jìn)行識別和過濾的手段。比如國內(nèi)某短視頻平臺，就研發(fā)了100多個(gè)智能識別模型，來提前攔截辱罵內(nèi)容，但該平臺依然是網(wǎng)暴的“重災(zāi)區(qū)”。某問答平臺，會(huì)對評論內(nèi)容進(jìn)行識別，對有風(fēng)險(xiǎn)的內(nèi)容進(jìn)行提醒，直到用戶修改才允許發(fā)出。

但顯而易見，這些AI檢測算法也并沒有根除網(wǎng)暴，網(wǎng)友對平臺治理網(wǎng)暴的批評仍是“不作為”“沒效果”。原因之一，是傳統(tǒng)的機(jī)器學(xué)習(xí)算法，不能滿足網(wǎng)絡(luò)內(nèi)容的審查需求：

1.理解力不夠。有害語言非常難以區(qū)分，而AI算法的語義理解能力不夠強(qiáng)，經(jīng)常會(huì)將有害評論和無害評論給出相同的分?jǐn)?shù)，沒有真正過濾掉那些不尊重的評論，或者給中性句子更低的分?jǐn)?shù)，過濾了不該過濾的正常評論，阻礙了博主和粉絲的交流。

2.靈活性不夠。某些網(wǎng)站可能要求檢測攻擊語言，但不需要檢測謠言，而其他網(wǎng)站的要求可能恰好相反。傳統(tǒng)的AI檢測工具往往使用一個(gè)通用的“毒性評分”，不夠靈活，無法滿足不同平臺的不同需求。

3.更新速度不夠。很多檢測算法是使用API來工作的，而這些模型通過大量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，在與訓(xùn)練數(shù)據(jù)相似的示例上表現(xiàn)良好，一旦遇到不熟悉的有毒語言，比如涉及飯圈的討論會(huì)有很多黑話、yyds之類的拼音簡寫，以及不斷新造的詞語，很可能就會(huì)失敗。某社交媒體平臺，一開始設(shè)置了一百多個(gè)禁發(fā)關(guān)鍵詞，比如一些臟話、“綠茶婊”“怎么不去死”等，如今已經(jīng)增加到了700多個(gè)。所以，AI模型缺乏高效實(shí)時(shí)的人類反饋，無法快速微調(diào)并迭代模型，從而導(dǎo)致自動(dòng)化檢測的效果不佳。

我們知道，大語言模型具備智能涌現(xiàn)、預(yù)訓(xùn)練、人類反饋的強(qiáng)化學(xué)習(xí)等特點(diǎn)，這就對傳統(tǒng)方法帶來了很大的助力，更強(qiáng)的語言理解能力，使用通用模型可以很快訓(xùn)練出精度更高的定制模型，同時(shí)借助人類反饋查漏補(bǔ)缺，獲得更好更快的檢測效果。

防范網(wǎng)絡(luò)暴力，已經(jīng)成為各國互聯(lián)網(wǎng)治理的重點(diǎn)，平臺也能因此建立起更良好的社區(qū)氛圍，所以大語言模型在檢測有害語言方面，應(yīng)該能大展拳腳才對。

但為什么這一波大語言模型的浪潮中，我們很少見到將LLM用于預(yù)防網(wǎng)絡(luò)暴力的探索呢？

AI，防范語言暴力的一小步

在AI技術(shù)體系內(nèi)部來看，從傳統(tǒng)NLP到大語言模型，是一個(gè)自然語言理解的飛躍式進(jìn)步。但走到更大的現(xiàn)實(shí)中，AI的一大步，也只是將問題解決向前推進(jìn)了一點(diǎn)點(diǎn)。

作用不能說沒有，但也很有限。應(yīng)對網(wǎng)絡(luò)中的語言攻擊，AI的力量仍然弱小。

首先，敵人數(shù)量太龐大。

康奈爾大學(xué)信息科學(xué)部門的丹尼斯庫表示，很多時(shí)候，你我這樣的普通人都會(huì)成為網(wǎng)絡(luò)暴力的幫兇。當(dāng)為數(shù)不少的網(wǎng)民自身積怨和不滿得不到緩解之時(shí)，會(huì)對周圍事物看不慣，在互聯(lián)網(wǎng)上用語言攻擊他人，來緩解負(fù)面情緒。

此前《三聯(lián)生活周刊》有一篇報(bào)道，某位網(wǎng)絡(luò)暴力受害者已經(jīng)去世，作者聯(lián)系到的一些施暴者則回應(yīng)稱“忘記自己當(dāng)時(shí)做過了什么”。

許多網(wǎng)暴者平時(shí)看起來是非常正常的，會(huì)在某些時(shí)刻、某些偶然事件后，短暫地化身“語言惡魔”，然后“事了拂衣去，深藏身與名”，即使是AI，也很難及時(shí)準(zhǔn)確地判定出，哪些人存在攻擊可能。

此外，語言攻擊越來越隱蔽。

AI自動(dòng)檢測技術(shù)發(fā)展到今天，一些明顯有害的言論，比如威脅、隱晦、辱罵等，已經(jīng)可以被直接屏蔽掉了，但人類用語言傷害人的“創(chuàng)造力”是很大的，很多在機(jī)器看來中性化的語言，也可能惡意滿滿。

比如此前校園事故中痛失孩子的母親，就被大量評論“她怎么看起來不傷心”“她怎么還有心思打扮”，看似并沒有什么侮辱性語言，但這些質(zhì)疑累加在一起，卻形成了對受害者的“道德審判”。

對于隱蔽的攻擊性語言，目前的NLP模型還有比較大的局限性，語言背后的實(shí)際、細(xì)微的含義，很難被捕捉到，依然需要人工審核的干預(yù)。

而平臺監(jiān)測語言暴力，并沒有一個(gè)通行的判定體系，往往是各個(gè)平臺自己酌定。比如知乎會(huì)判定邪路隱私、辱罵臟話、扣帽子、貼負(fù)面標(biāo)簽等行為。豆瓣則會(huì)處理諷刺、抬杠、拱火、歧視偏見等。不過，這些標(biāo)準(zhǔn)都有很大的主觀成分，所以大家會(huì)看到“掛一漏萬”的現(xiàn)象，一些很正常的發(fā)言被斃掉，一些明顯煽動(dòng)情緒的發(fā)言沒有被及時(shí)處理。

另外，網(wǎng)絡(luò)信息的“巴爾干化”。

巴爾干化，指的是一些四分五裂的小國家，互相敵對或沒有合作的情況。一項(xiàng)研究顯示，互聯(lián)網(wǎng)雖然消除了地理屏障，讓不同地區(qū)的人可以低成本地相互交流，但卻造成了觀念上的“巴爾干化”，輿論上的分離割裂程度越來越嚴(yán)重。

網(wǎng)絡(luò)信息的推送機(jī)制，算法設(shè)計(jì)還不夠科學(xué)，偏好設(shè)置過于狹窄，采用關(guān)鍵詞聯(lián)想、通訊錄關(guān)聯(lián)、圖網(wǎng)絡(luò)等過濾方式，類似“吃了一個(gè)饅頭=喜歡吃饅頭=再來一百個(gè)饅頭”“你媽愛吃饅頭，你也一定愛吃”“饅頭=更適合中國寶寶體質(zhì)的吐司=看看吐司”。人們長期停留在有限的信息范圍內(nèi)，對自己感興趣的內(nèi)容之外的信息很少涉獵，和其他群體之間的觀念間隙會(huì)越來越大。

信息獲取機(jī)制的“巴爾干化”，會(huì)導(dǎo)致輿論“極化”，就是一個(gè)觀點(diǎn)反復(fù)發(fā)酵，從而引發(fā)大規(guī)模的跟風(fēng)行為，網(wǎng)暴風(fēng)險(xiǎn)也就提高了。

數(shù)量多、識別難、極化情緒嚴(yán)重，將互聯(lián)網(wǎng)變成了一個(gè)負(fù)面語言的游樂場。

技術(shù)之外，做得更多

當(dāng)然，AI防止網(wǎng)暴道阻且長，但咱們不能就此放棄努力。

大語言模型的出現(xiàn)，帶來了更強(qiáng)大的自動(dòng)檢測潛力。媒體機(jī)構(gòu)基于通用模型，可以訓(xùn)練出更高精度、識別能力更強(qiáng)的行業(yè)大模型，用人類專業(yè)知識來增強(qiáng)模型效果，創(chuàng)建具有人類智能的AI檢測模型，從而支持更加復(fù)雜的內(nèi)容理解和審核決策，提高有害內(nèi)容的檢測效率。

升級技術(shù)之外，必須做的更多。預(yù)防網(wǎng)絡(luò)暴力，與其說是一個(gè)技術(shù)問題，不如說是一個(gè)社會(huì)問題。網(wǎng)絡(luò)信息環(huán)境不改變，攻擊語言還會(huì)不斷變種，增加技術(shù)檢測的難度與成本，這是用戶、平臺和社會(huì)所不堪承受的。

但此前，很多治理方法效果都不是很理想。

比如說，網(wǎng)絡(luò)匿名是暴力的“隱身衣”，于是實(shí)名制成為一項(xiàng)重要的治理手段，但效果并不理想。韓國是第一個(gè)施行網(wǎng)絡(luò)實(shí)名制的國家，于2005年10月提出要實(shí)行網(wǎng)絡(luò)實(shí)名制，但按照韓國的統(tǒng)計(jì)，實(shí)名制之后，網(wǎng)絡(luò)侵權(quán)行為從原來的13.9%降到了12.2%，僅降了1.7%。

立法也是被期待的一種。各國都在不斷推出法規(guī)，韓國《刑法》對網(wǎng)絡(luò)暴力最高判處七年有期徒刑，我國刑法、民法中也有相應(yīng)的規(guī)定，治理網(wǎng)絡(luò)暴力并非無法可依。但立法容易、執(zhí)法難。

網(wǎng)絡(luò)環(huán)境復(fù)雜，網(wǎng)暴攻擊的發(fā)動(dòng)者難以確定，網(wǎng)暴一般是由大量跟帖評論等攻擊行為累加而成的，證據(jù)收集十分困難，容易滅失，“情節(jié)嚴(yán)重”難以認(rèn)定，維權(quán)周期長，網(wǎng)暴受害者的維權(quán)成本太高，最后大多不了了之，很難對施暴者產(chǎn)生實(shí)際的懲罰，助長了“法不責(zé)眾”的僥幸心理。

要改變“法不責(zé)眾”的難題，治本的辦法，是消除“無意識跟風(fēng)”的“眾”。

網(wǎng)暴不是一個(gè)人能完成的，除了少數(shù)發(fā)布者之外，大量攻擊言論，都來自是上頭了的跟風(fēng)者，是網(wǎng)民集體非理性行動(dòng)的結(jié)果。

報(bào)紙時(shí)代、電視時(shí)代的單向傳播，只有少數(shù)群體有發(fā)言、評論的機(jī)會(huì)，而大眾在線下面對面交流時(shí)，也不會(huì)輕易侮辱攻擊別人。到了網(wǎng)絡(luò)時(shí)代，隨著智能手機(jī)的普及，所有人都可以直接在網(wǎng)絡(luò)上表達(dá)自己的意見，一旦媒體素養(yǎng)跟不上，信息識別能力不夠，那么面對真假難辨的網(wǎng)絡(luò)信息，煽動(dòng)性的語言，就很容易沖動(dòng)失控，無意識地加入網(wǎng)暴大軍。

很多人在評論時(shí)，并不一定經(jīng)過了理性的思考和判斷，只是看自己關(guān)注的博主那么說，或者很多人都在討伐，就跟風(fēng)批判，使網(wǎng)絡(luò)暴力升級。

對此，指責(zé)“網(wǎng)暴者”的行為偏激，反而又會(huì)形成新的“網(wǎng)暴”。“用魔法打敗魔法”，會(huì)嚴(yán)重?cái)_亂了網(wǎng)絡(luò)話語生態(tài)。很多偶發(fā)性的“語言暴力”，是可以通過個(gè)人媒體素養(yǎng)的提高去規(guī)避的。

這就需要專業(yè)媒體機(jī)構(gòu)和有關(guān)部門，投入更多媒體資源，面對網(wǎng)絡(luò)時(shí)代，幫助人們習(xí)得更高的媒體素養(yǎng)，實(shí)現(xiàn)更文明、友好的“數(shù)字化生存”。

每個(gè)人內(nèi)心深處都有某種暴力沖動(dòng)。正如羅翔老師所說，“我們遠(yuǎn)比自己想象的更偽善和幽暗，每個(gè)人心中都藏著一個(gè)張三”。

當(dāng)理性上升，當(dāng)一個(gè)人習(xí)得了自我控制的能力，那么“非理性”的暴力一定會(huì)減少。比起AI的韁繩，真正能消除網(wǎng)暴的，是每個(gè)人心中的道德律令。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。