人工智能和機(jī)器學(xué)習(xí)中數(shù)據(jù)集的3大問題

原標(biāo)題：人工智能和機(jī)器學(xué)習(xí)中數(shù)據(jù)集的3大問題

數(shù)據(jù)集為人工智能模型提供燃料，就像汽油（或電力，視情況而定）為汽車提供燃料。無論它們的任務(wù)是生成文本、識(shí)別物體，還是預(yù)測(cè)公司的股票價(jià)格，人工智能系統(tǒng)都是通過篩選無數(shù)的例子來 "學(xué)習(xí)"，以辨別數(shù)據(jù)中的模式。例如，計(jì)算機(jī)視覺系統(tǒng)可以被訓(xùn)練成通過觀察某些類型的服裝（如大衣和圍巾）的不同圖像來識(shí)別該服裝。

除了開發(fā)模型，數(shù)據(jù)集還被用來測(cè)試訓(xùn)練有素的人工智能系統(tǒng)，以確保它們保持穩(wěn)定--并衡量該領(lǐng)域的整體進(jìn)展。在某些開源基準(zhǔn)上名列前茅的模型被認(rèn)為是該特定任務(wù)的技術(shù)水平（SOTA）。事實(shí)上，這是研究人員確定一個(gè)模型的預(yù)測(cè)強(qiáng)度的主要方式之一。

但這些人工智能和機(jī)器學(xué)習(xí)數(shù)據(jù)集--就像設(shè)計(jì)它們的人類一樣--并不是沒有缺陷的。研究表明，偏見和錯(cuò)誤給許多用于訓(xùn)練、基準(zhǔn)和測(cè)試模型的圖書館蒙上了陰影，突出了對(duì)未經(jīng)徹底審查的數(shù)據(jù)給予過多信任的危險(xiǎn)性--即使這些數(shù)據(jù)來自于知名機(jī)構(gòu)。

1. 訓(xùn)練的困境

在人工智能領(lǐng)域，基準(zhǔn)測(cè)試需要比較為同一任務(wù)設(shè)計(jì)的多個(gè)模型的性能，比如在語(yǔ)言之間翻譯單詞。在理論上，這種做法--起源于探索人工智能早期應(yīng)用的學(xué)者--具有將科學(xué)家圍繞共同問題組織起來的優(yōu)勢(shì)，同時(shí)有助于揭示已經(jīng)取得了多少進(jìn)展。

但是，在數(shù)據(jù)集選擇方面變得也有風(fēng)險(xiǎn)。例如，如果相同的訓(xùn)練數(shù)據(jù)集被用于多種任務(wù)，那么數(shù)據(jù)集就不可能準(zhǔn)確反映模型在現(xiàn)實(shí)世界中看到的數(shù)據(jù)。錯(cuò)誤的數(shù)據(jù)集會(huì)扭曲對(duì)科學(xué)進(jìn)步的衡量，導(dǎo)致研究人員認(rèn)為他們做得比實(shí)際要好--并對(duì)現(xiàn)實(shí)世界中的人們?cè)斐蓚Α?/p>

加州大學(xué)洛杉磯分校的研究人員和谷歌在最近發(fā)表的一項(xiàng)題為 "減少、重復(fù)使用和回收 "的研究中調(diào)查了這個(gè)問題。機(jī)器學(xué)習(xí)研究中數(shù)據(jù)集的壽命"。他們發(fā)現(xiàn)，在機(jī)器學(xué)習(xí)中存在 "大量借用 "數(shù)據(jù)集的情況--例如，從事一項(xiàng)任務(wù)的社區(qū)可能會(huì)借用為另一項(xiàng)任務(wù)創(chuàng)建的數(shù)據(jù)集--這引起了對(duì)錯(cuò)位的擔(dān)憂。他們還表明，只有十幾所大學(xué)和公司負(fù)責(zé)創(chuàng)建機(jī)器學(xué)習(xí)中50%以上時(shí)間使用的數(shù)據(jù)集，表明這些機(jī)構(gòu)正在有效地塑造該領(lǐng)域的研究議程。

"追逐SOTA是不好的做法，因?yàn)橛刑嗟幕祀s變量，SOTA通常并不意味著什么，而科學(xué)的目標(biāo)應(yīng)該是積累知識(shí)，而不是特定玩具基準(zhǔn)的結(jié)果，"谷歌大腦團(tuán)隊(duì)的前駐場(chǎng)人員丹尼-布里茨在之前的采訪中告訴媒體。"已經(jīng)有了一些改進(jìn)的舉措，但是尋找SOTA是審查和評(píng)估論文的一種快速而簡(jiǎn)單的方法。像這樣的事情已經(jīng)嵌入到文化中，需要時(shí)間來改變"。

對(duì)于他們的觀點(diǎn)，ImageNet和Open Images--來自斯坦福和谷歌的兩個(gè)公開可用的圖像數(shù)據(jù)集--在很大程度上是以美國(guó)和歐洲為中心的。在這些數(shù)據(jù)集上訓(xùn)練的計(jì)算機(jī)視覺模型在來自第三世界國(guó)家的圖像上表現(xiàn)更差。例如，與來自美國(guó)的新郎相比，這些模型對(duì)來自埃塞俄比亞和巴基斯坦的新郎的分類準(zhǔn)確率較低，而且當(dāng)這些圖像來自第三世界方時(shí)，它們不能正確識(shí)別諸如 "婚禮 "或 "調(diào)味品 "這樣的物體。

甚至南北半球太陽(yáng)路徑的差異和背景景物的變化也會(huì)影響模型的準(zhǔn)確性，相機(jī)型號(hào)的不同規(guī)格如分辨率和長(zhǎng)寬比也會(huì)影響模型的準(zhǔn)確性。天氣條件是另一個(gè)因素--如果一個(gè)無人駕駛汽車系統(tǒng)只在陽(yáng)光明媚的熱帶環(huán)境的數(shù)據(jù)集上進(jìn)行訓(xùn)練，那么它在遇到雨雪天氣時(shí)的表現(xiàn)就會(huì)很差。

麻省理工學(xué)院的一項(xiàng)最新研究顯示，包括ImageNet在內(nèi)的計(jì)算機(jī)視覺數(shù)據(jù)集包含有問題的 "無意義 "信號(hào)。在這些數(shù)據(jù)集上訓(xùn)練的模型受到 "過度解釋 "的影響，這種現(xiàn)象是它們以高置信度對(duì)缺乏細(xì)節(jié)的圖像進(jìn)行分類，以至于它們對(duì)人類來說毫無意義。這些信號(hào)在現(xiàn)實(shí)世界中會(huì)導(dǎo)致模型的脆弱性，但它們?cè)跀?shù)據(jù)集中是有效的--這意味著過度解釋無法用典型的方法來識(shí)別。

"麻省理工學(xué)院博士生、該研究的主要作者布蘭登-卡特（Brandon Carter）在一份聲明中說："有一個(gè)問題是，我們?nèi)绾文軌蛞砸环N方式修改數(shù)據(jù)集，使模型能夠被訓(xùn)練成更接近于模仿人類對(duì)圖像分類的思考方式，因此，希望在這些現(xiàn)實(shí)世界的場(chǎng)景中，如自動(dòng)駕駛和醫(yī)療診斷，能夠更好地進(jìn)行概括，以便模型不會(huì)有這種無意義的行為。

歷史上充滿了部署使用有缺陷的數(shù)據(jù)集訓(xùn)練的模型的后果的例子，比如虛擬背景和照片剪裁工具，這些工具不喜歡皮膚較黑的人。2015年，一名軟件工程師指出，谷歌照片中的圖像識(shí)別算法將他的黑人朋友標(biāo)記為 "大猩猩"。非營(yíng)利組織AlgorithmWatch顯示，谷歌的云端視覺API曾一度將黑人持有的溫度計(jì)標(biāo)記為 "槍"，而將淺膚色人持有的溫度計(jì)標(biāo)記為 "電子設(shè)備"。

模糊的數(shù)據(jù)集還導(dǎo)致了使性別歧視的招聘和雇用、年齡歧視的廣告定位、錯(cuò)誤的評(píng)分以及種族主義的累犯和貸款審批長(zhǎng)期存在的模式。這個(gè)問題延伸到醫(yī)療保健領(lǐng)域，其中包含醫(yī)療記錄和圖像的訓(xùn)練數(shù)據(jù)集大多來自北美、歐洲和中國(guó)的患者--這意味著模型不太可能對(duì)代表性不足的群體產(chǎn)生良好的效果。這種不平衡在入店行竊者和武器識(shí)別的計(jì)算機(jī)視覺模型、工作場(chǎng)所安全監(jiān)控軟件、槍聲檢測(cè)系統(tǒng)和 "美化 "過濾器中很明顯，它們放大了訓(xùn)練數(shù)據(jù)中存在的偏見。

專家們將面部識(shí)別、語(yǔ)言和語(yǔ)音識(shí)別系統(tǒng)中的許多錯(cuò)誤也歸因于用于訓(xùn)練模型的數(shù)據(jù)集的缺陷。例如，馬里蘭大學(xué)的研究人員發(fā)現(xiàn)，亞馬遜、微軟和谷歌的面部識(shí)別服務(wù)更有可能在年齡較大、皮膚較黑的人和那些不太 "女性化 "的人身上失敗。根據(jù)算法正義聯(lián)盟的聲音消除項(xiàng)目，蘋果、亞馬遜、谷歌、IBM和微軟的語(yǔ)音識(shí)別系統(tǒng)對(duì)黑人聲音的單詞錯(cuò)誤率合計(jì)達(dá)到35%，而對(duì)白人聲音的錯(cuò)誤率為19%。而且，語(yǔ)言模型已被證明表現(xiàn)出對(duì)種族、民族、宗教和性別的偏見，將黑人與更多的負(fù)面情緒聯(lián)系在一起，并與 "與黑人結(jié)盟的英語(yǔ) "作斗爭(zhēng)。

"加州大學(xué)洛杉磯分校的Bernard Koch和Jacob G. Foster以及谷歌的Emily Denton和Alex Hanna是 "減少、再利用和回收 "一書的共同作者，他們通過電子郵件告訴媒體，"數(shù)據(jù)[在某些情況下]是從網(wǎng)絡(luò)上的許多不同地方刮來的，而這些網(wǎng)絡(luò)數(shù)據(jù)反映了與霸權(quán)主義意識(shí)形態(tài)（例如白人和男性主導(dǎo)地位）相同的社會(huì)層面的偏見和偏差。"更大的......模型需要更多的訓(xùn)練數(shù)據(jù)，而且一直在努力清理這些數(shù)據(jù)，防止模型放大這些有問題的想法。"

2. 標(biāo)簽的問題

標(biāo)簽是許多模型學(xué)習(xí)數(shù)據(jù)關(guān)系的注釋，它也帶有數(shù)據(jù)不平衡的特征。人類對(duì)訓(xùn)練和基準(zhǔn)數(shù)據(jù)集中的例子進(jìn)行注釋，在狗的圖片上添加 "狗 "這樣的標(biāo)簽，或者描述風(fēng)景圖片中的特征。但是注釋者會(huì)帶來他們自己的偏見和缺點(diǎn)，這可能會(huì)轉(zhuǎn)化為不完美的注釋。

例如，研究表明，一般的注釋者更有可能將非裔美國(guó)人方言英語(yǔ)（AAVE），即一些美國(guó)黑人使用的非正式語(yǔ)法、詞匯和口音的短語(yǔ)標(biāo)記為有毒。在另一個(gè)例子中，麻省理工學(xué)院和紐約大學(xué)的8000萬張微小圖片數(shù)據(jù)集--該數(shù)據(jù)集于2020年下線--的一些標(biāo)注者貢獻(xiàn)了種族主義、性別歧視和其他攻擊性的注釋，包括近2000張標(biāo)注有N字的圖片以及 "強(qiáng)奸嫌疑人 "和 "兒童騷擾者 "等標(biāo)簽。

2019年，《連線》報(bào)道了亞馬遜Mechanical Turk等平臺(tái)--許多研究人員在這里招募注釋者--對(duì)自動(dòng)機(jī)器人的易感性。即使工人是可核實(shí)的人類，他們的動(dòng)機(jī)是報(bào)酬而不是興趣，這可能會(huì)導(dǎo)致低質(zhì)量的數(shù)據(jù)--特別是當(dāng)他們受到惡劣的待遇和低于市場(chǎng)價(jià)格的報(bào)酬。包括Niloufar Salehi在內(nèi)的研究人員已經(jīng)嘗試通過Dynamo這樣的開放性工人集體來解決亞馬遜Mechanical Turk的缺陷，但他們能做的只有這么多。

作為人類，注釋者也會(huì)犯錯(cuò)誤--有時(shí)是重大錯(cuò)誤。在麻省理工學(xué)院對(duì)包括ImageNet在內(nèi)的流行基準(zhǔn)的分析中，研究人員發(fā)現(xiàn)了錯(cuò)誤的圖像標(biāo)簽（如一個(gè)品種的狗被混淆為另一個(gè)品種），文本情感（如亞馬遜產(chǎn)品評(píng)論被描述為負(fù)面，而實(shí)際上是正面），以及YouTube視頻的音頻（如Ariana Grande的高音被歸為口哨）。

一個(gè)解決方案是推動(dòng)建立更具包容性的數(shù)據(jù)集，如MLCommons的人民語(yǔ)音數(shù)據(jù)集和多語(yǔ)種口語(yǔ)語(yǔ)料庫(kù)。但是策劃這些數(shù)據(jù)集既費(fèi)時(shí)又費(fèi)錢，其價(jià)格往往高達(dá)數(shù)百萬美元。Mozilla努力建立一個(gè)開源的轉(zhuǎn)錄語(yǔ)音數(shù)據(jù)集，自2017年推出以來，只審核了幾十種語(yǔ)言--說明了這一挑戰(zhàn)。

創(chuàng)建一個(gè)數(shù)據(jù)集如此昂貴的原因之一是高質(zhì)量注釋所需的領(lǐng)域?qū)I(yè)知識(shí)。正如Synced在最近的一篇文章中指出的那樣，大多數(shù)低成本的標(biāo)簽器只能注釋相對(duì) "低語(yǔ)境 "的數(shù)據(jù)，不能處理 "高語(yǔ)境 "的數(shù)據(jù)，如法律合同分類、醫(yī)學(xué)圖像或科學(xué)文獻(xiàn)。事實(shí)表明，司機(jī)往往比沒有駕照的人更有效地標(biāo)注自駕游數(shù)據(jù)集，醫(yī)生、病理學(xué)家和放射科醫(yī)生在準(zhǔn)確標(biāo)注醫(yī)療圖像方面表現(xiàn)更好。

機(jī)器輔助工具可以在一定程度上幫助消除標(biāo)簽過程中的一些重復(fù)性工作。其他方法，如半監(jiān)督學(xué)習(xí)，有望減少訓(xùn)練模型所需的數(shù)據(jù)量，使研究人員能夠在為特定任務(wù)設(shè)計(jì)的小型定制數(shù)據(jù)集上 "微調(diào) "模型。例如，在本周發(fā)表的一篇博文中，OpenAI說，它設(shè)法對(duì)GPT-3進(jìn)行了微調(diào)，通過復(fù)制人類在網(wǎng)上研究問題的答案（例如，提交搜索查詢、跟蹤鏈接和上下滾動(dòng)頁(yè)面）來更準(zhǔn)確地回答開放式問題，并引用其來源，允許用戶提供反饋以進(jìn)一步提高準(zhǔn)確性。

還有一些方法旨在用部分或完全的合成數(shù)據(jù)取代真實(shí)世界的數(shù)據(jù)--盡管在合成數(shù)據(jù)上訓(xùn)練的模型是否能與真實(shí)世界的數(shù)據(jù)對(duì)應(yīng)的準(zhǔn)確性相媲美，目前還沒有定論。麻省理工學(xué)院和其他地方的研究人員已經(jīng)試驗(yàn)過在視覺數(shù)據(jù)集中單獨(dú)使用隨機(jī)噪聲來訓(xùn)練物體識(shí)別模型。

從理論上講，無監(jiān)督學(xué)習(xí)可以一勞永逸地解決訓(xùn)練數(shù)據(jù)的難題。在無監(jiān)督學(xué)習(xí)中，一個(gè)算法被置于 "未知 "數(shù)據(jù)中，這些數(shù)據(jù)不存在先前定義的類別或標(biāo)簽。但是，雖然無監(jiān)督學(xué)習(xí)在缺乏標(biāo)簽數(shù)據(jù)的領(lǐng)域表現(xiàn)出色，但這并不是一個(gè)弱點(diǎn)。例如，無監(jiān)督的計(jì)算機(jī)視覺系統(tǒng)可以在未標(biāo)記的訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)種族和性別的定型觀念。

3. 一個(gè)基準(zhǔn)問題

人工智能數(shù)據(jù)集的問題并不停留在訓(xùn)練上。在維也納人工智能和決策支持研究所的一項(xiàng)研究中，研究人員發(fā)現(xiàn)3800多篇人工智能研究論文的基準(zhǔn)不一致--在許多情況下，可歸因于沒有強(qiáng)調(diào)信息指標(biāo)的基準(zhǔn)。Facebook和倫敦大學(xué)學(xué)院的另一篇論文顯示，在 "開放領(lǐng)域 "基準(zhǔn)上測(cè)試的自然語(yǔ)言模型給出的60%到70%的答案隱藏在訓(xùn)練集的某個(gè)地方，這意味著模型只是記住了這些答案。

在紐約大學(xué)AI Now研究所的技術(shù)研究員Deborah Raji共同撰寫的兩項(xiàng)研究中，研究人員發(fā)現(xiàn)像ImageNet這樣的基準(zhǔn)經(jīng)常被 "錯(cuò)誤地抬高"，以證明超出其最初設(shè)計(jì)的任務(wù)的說法。據(jù)Raji和其他合著者稱，這還不包括 "數(shù)據(jù)集文化 "會(huì)扭曲機(jī)器學(xué)習(xí)研究的科學(xué)性--缺乏對(duì)數(shù)據(jù)主體的關(guān)懷文化，造成惡劣的勞動(dòng)條件（比如注釋者的低工資），同時(shí)對(duì)那些數(shù)據(jù)被有意或無意地卷進(jìn)數(shù)據(jù)集的人沒有充分保護(hù)。

一些針對(duì)特定領(lǐng)域的基準(zhǔn)問題的解決方案已經(jīng)被提出，包括艾倫研究所的GENIE。與眾不同的是，GENIE同時(shí)包含了自動(dòng)和手動(dòng)測(cè)試，讓人類評(píng)估人員根據(jù)預(yù)定義的、針對(duì)數(shù)據(jù)集的流暢性、正確性和簡(jiǎn)潔性的準(zhǔn)則來探測(cè)語(yǔ)言模型。雖然GENIE價(jià)格昂貴--提交一個(gè)模型進(jìn)行基準(zhǔn)測(cè)試的費(fèi)用約為100美元--但艾倫研究所計(jì)劃探索其他支付模式，例如要求科技公司支付費(fèi)用，同時(shí)為小型組織提供費(fèi)用補(bǔ)貼。

在人工智能研究界也有越來越多的共識(shí)，即如果基準(zhǔn)要發(fā)揮作用，特別是在語(yǔ)言領(lǐng)域，必須考慮到更廣泛的道德、技術(shù)和社會(huì)挑戰(zhàn)。一些語(yǔ)言模型有很大的碳足跡，但盡管對(duì)這個(gè)問題有廣泛的認(rèn)識(shí)，相對(duì)來說，很少有研究人員試圖估計(jì)或報(bào)告他們系統(tǒng)的環(huán)境成本。

"Koch、Foster、Denton和Hanna說："只關(guān)注最先進(jìn)的性能，并不強(qiáng)調(diào)其他重要的標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)能體現(xiàn)出重大的貢獻(xiàn)。"[例如，]SOTA基準(zhǔn)測(cè)試鼓勵(lì)創(chuàng)建對(duì)環(huán)境不友好的算法。建立更大的模型是提高機(jī)器學(xué)習(xí)性能的關(guān)鍵，但從長(zhǎng)遠(yuǎn)來看，它在環(huán)境上也是不可持續(xù)的......SOTA基準(zhǔn)測(cè)試[也]不鼓勵(lì)科學(xué)家對(duì)他們的任務(wù)在現(xiàn)實(shí)世界中提出的具體挑戰(zhàn)有細(xì)微的理解，反而會(huì)鼓勵(lì)對(duì)提高分?jǐn)?shù)的隧道視野。實(shí)現(xiàn)SOTA的要求限制了新的算法或能夠解決現(xiàn)實(shí)世界問題的算法的創(chuàng)造。"

可能的AI數(shù)據(jù)集解決方案

鑒于人工智能數(shù)據(jù)集的廣泛挑戰(zhàn)，從不平衡的訓(xùn)練數(shù)據(jù)到不充分的基準(zhǔn)，實(shí)現(xiàn)有意義的改變并不容易。但專家們認(rèn)為，情況并非毫無希望。

普林斯頓大學(xué)計(jì)算機(jī)科學(xué)家Arvind Narayanan寫了幾篇調(diào)查人工智能數(shù)據(jù)集出處的文章，他說，研究人員必須采取負(fù)責(zé)任的方法，不僅要收集和注釋數(shù)據(jù)，還要記錄他們的數(shù)據(jù)集，維護(hù)它們，并制定數(shù)據(jù)集設(shè)計(jì)的問題。在他最近與人合著的一項(xiàng)研究中，Narayanan發(fā)現(xiàn)許多數(shù)據(jù)集容易出現(xiàn)管理不善的情況，創(chuàng)建者未能在許可證語(yǔ)言中準(zhǔn)確說明如何使用他們的數(shù)據(jù)集或禁止?jié)撛诘目梢捎猛尽?/p>

"他通過電子郵件告訴媒體："研究人員應(yīng)該考慮他們的數(shù)據(jù)集的不同使用方式......負(fù)責(zé)任的數(shù)據(jù)集'管理'，正如我們所說，需要解決更廣泛的風(fēng)險(xiǎn)。他通過電子郵件告訴媒體："一個(gè)風(fēng)險(xiǎn)是，即使一個(gè)數(shù)據(jù)集是為了一個(gè)看似良性的目的而創(chuàng)建的，它也可能在無意中被用于可能造成傷害的方式。數(shù)據(jù)集可能被重新利用，用于道德上可疑的研究應(yīng)用?；蛘?，數(shù)據(jù)集可能被用來訓(xùn)練或衡量一個(gè)商業(yè)模型，而它并不是為這些高風(fēng)險(xiǎn)環(huán)境設(shè)計(jì)的。數(shù)據(jù)集的創(chuàng)建通常需要大量的工作，因此研究人員和從業(yè)人員通常希望利用已有的數(shù)據(jù)。負(fù)責(zé)任的數(shù)據(jù)集管理的目標(biāo)是確保這樣做是符合道德的"。

科赫和共同作者認(rèn)為，人們--和組織--需要得到獎(jiǎng)勵(lì)和支持，以便為手頭的任務(wù)創(chuàng)造新的、多樣化的數(shù)據(jù)集。他們說，需要激勵(lì)研究人員在像NeurIPS這樣的學(xué)術(shù)會(huì)議上使用 "更合適的 "數(shù)據(jù)集，并鼓勵(lì)他們進(jìn)行更多的定性分析--比如他們模型的可解釋性--以及報(bào)告公平性（盡可能）和功率效率等指標(biāo)。

NeurIPS--世界上最大的機(jī)器學(xué)習(xí)會(huì)議之一--規(guī)定提交論文的合作者必須說明他們的工作對(duì)社會(huì)的 "潛在廣泛影響"，從去年的NeurIPS 2020開始?；厣那闆r有好有壞，但科赫和合作者認(rèn)為，這是向正確方向邁出的一小步。

"機(jī)器學(xué)習(xí)研究人員正在創(chuàng)造大量的數(shù)據(jù)集，但它們并沒有得到使用。他們說："這里的一個(gè)問題是，許多研究人員可能覺得他們需要包括廣泛使用的基準(zhǔn)，以使他們的論文具有可信度，而不是一個(gè)更小眾但技術(shù)上合適的基準(zhǔn)。"此外，專業(yè)的激勵(lì)措施需要向創(chuàng)建這些數(shù)據(jù)集的方向看齊......我們認(rèn)為研究界仍有一部分人對(duì)道德改革持懷疑態(tài)度，解決科學(xué)問題可能是讓這些人支持機(jī)器學(xué)習(xí)評(píng)估改革的不同方式。"

數(shù)據(jù)集注釋問題沒有簡(jiǎn)單的解決方案--假設(shè)標(biāo)簽最終不會(huì)被替代物所取代。但谷歌最近的一篇論文表明，研究人員最好與注釋者建立 "擴(kuò)展的溝通框架"，如聊天應(yīng)用程序，以提供更有意義的反饋和更清晰的指示。同時(shí)，他們必須努力承認(rèn)（并實(shí)際考慮）工人的社會(huì)文化背景，共同作者寫道--無論是從數(shù)據(jù)質(zhì)量還是社會(huì)影響的角度。

該論文更進(jìn)一步，為數(shù)據(jù)集任務(wù)的制定和選擇注釋者、平臺(tái)和標(biāo)簽基礎(chǔ)設(shè)施提供建議。共同作者說，除了審查數(shù)據(jù)集的預(yù)期使用情況外，研究人員應(yīng)該考慮可以通過注釋納入的專業(yè)知識(shí)形式。他們還說，他們應(yīng)該比較和對(duì)比不同平臺(tái)的最低工資要求，并分析不同群體的注釋者之間的分歧，讓他們--希望--更好地了解不同的觀點(diǎn)是如何被代表或不被代表的。

"如果我們真的想使使用中的基準(zhǔn)多樣化，政府和企業(yè)的參與者需要為數(shù)據(jù)集的創(chuàng)建創(chuàng)建撥款，并將這些撥款分配給資源不足的機(jī)構(gòu)和來自代表不足的背景的研究人員，"科赫和共同作者說。"我們想說的是，現(xiàn)在有大量的研究表明，機(jī)器學(xué)習(xí)中的數(shù)據(jù)濫用會(huì)產(chǎn)生倫理問題和社會(huì)危害......科學(xué)家們喜歡數(shù)據(jù)，所以我們認(rèn)為，如果我們能向他們展示過度使用對(duì)科學(xué)來說并不是好事，這可能會(huì)刺激進(jìn)一步的改革，也能減輕社會(huì)危害。"

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。