你是否好奇,名人在社交網(wǎng)絡(luò)上發(fā)的消息,哪些是自己寫的,哪些是工作人員寫的呢?Coursera數(shù)據(jù)科學(xué)社區(qū)導(dǎo)師(Community Mentor)Greg Rafferty使用機(jī)器學(xué)習(xí)技術(shù)分析了川普的推文,預(yù)測哪些推文是川普親自發(fā)的,哪些推文是工作人員所發(fā)。
我創(chuàng)建了一個(gè)推特機(jī)器人@whosintheoval,這個(gè)機(jī)器人會(huì)轉(zhuǎn)推唐納德·川普的推特,然后預(yù)測這條推是否是川普本人所寫。在閱讀下文了解我是如何創(chuàng)建模型的之前,別忘了在推特上關(guān)注這個(gè)機(jī)器人。
我是Greg Rafferty,灣區(qū)的一個(gè)數(shù)據(jù)科學(xué)家。你可以在我的github上查看這個(gè)項(xiàng)目的代碼,也可以訪問我的LinkedIn頁面。有任何疑問和反饋,都?xì)g迎和我聯(lián)系。
動(dòng)機(jī)
2017年12月1日,邁克爾·弗林(Michael Flynn)承認(rèn)向FBI撒謊了。12月3日,川普的個(gè)人推特賬號(hào)發(fā)了這樣一條推:
由于弗林向副總統(tǒng)和FBI說謊,我不得不解雇了他。他已經(jīng)對(duì)這些謊言認(rèn)罪。這真可恥,因?yàn)樗谶^渡期間的行為是合法的。沒什么好隱瞞的!
這條推引起了很大的爭議,因?yàn)樵谶@一年的2月14日,在弗林辭職之后,川普曾要求FBI局長詹姆斯·科米(James Comey)停止對(duì)弗林的所有調(diào)查。如果川普在向科米要求時(shí)已經(jīng)知道弗林確實(shí)向FBI說謊了,那么川普的推特是川普試圖妨礙司法的證據(jù)。在若干法律專家主張這一觀點(diǎn)之后,川普為自己辯護(hù),聲稱撰寫并發(fā)布這條推的是他的律師約翰·多德(John Dowd)。然而,果真如此嗎?
介紹
本文分為四部分:
背景
特征選取
模型
結(jié)果
當(dāng)中的兩小節(jié)(特別是模型那一節(jié))技術(shù)性比較強(qiáng);所以如果你對(duì)此不感興趣,可以直接跳到結(jié)果一節(jié),看看到底是誰發(fā)了關(guān)于弗林的那條推。
背景
文本分析取證是一門“古老的”機(jī)器學(xué)習(xí)技術(shù),在各種各樣的案例中得到應(yīng)用,比如識(shí)別大學(xué)炸彈客(Unabomber),發(fā)現(xiàn)羅伯特·加爾布雷斯(Rob Galbraith)是J·K·羅琳(J. K. Rowling)的筆名,確定《聯(lián)邦黨人文集》中特定文章的歸屬。我們這個(gè)項(xiàng)目嘗試使用這一機(jī)器學(xué)習(xí)技術(shù)識(shí)別@realDonaldTrump所發(fā)的推是否是川普本人所寫。然而,這一任務(wù)比較特別,非常具有挑戰(zhàn)性,因?yàn)橥莆亩挤浅6獭谌绱硕痰奈谋局袥]有太多的信號(hào)可供分析。不過,我最終還是成功了,精確度幾乎達(dá)到了99%. 你可以關(guān)注我的推特機(jī)器人@whosintheoval,這樣一旦川普發(fā)推,你就可以實(shí)時(shí)查看相應(yīng)的預(yù)測。
數(shù)據(jù)
2017年3月26日之前,川普使用三星Galaxy發(fā)推而他的工作人員使用iPhone發(fā)推。基于這些推文的元數(shù)據(jù),我們可以知道是川普本人還是他的工作人員在發(fā)推(參考這些具體討論這一假設(shè)的文章的鏈接)。在此之后,川普轉(zhuǎn)而使用iPhone,因此發(fā)推者的身份無法基于元數(shù)據(jù)得出,需要通過推文內(nèi)容推斷。
我使用了Brendan Brown的Trump Tweet Data Archive(川普推文數(shù)據(jù)歸檔),得到了川普賬號(hào)在2009年中至2017年末所發(fā)的所有推文,約有33000條。盡管我知道推文來自于哪個(gè)設(shè)備,作者身份仍有一些模棱兩可,因?yàn)槿藗冎来ㄆ沼袝r(shí)會(huì)向助理口述發(fā)推內(nèi)容,因此一條具有川普特色的推文可能發(fā)自非川普所有的設(shè)備,同時(shí)(特別是大選期間)推文可能是由川普和助手們共同撰寫的,沒有明確的作者。
川普推特賬號(hào)從開始(2009年5月4日)至停止使用Android設(shè)備(2017年初)的超過30000條推文我知道(至少有比較大的把握能猜到)作者(關(guān)鍵在于,關(guān)于弗林的推文不在這一期間,所以我讓我的模型猜測真正的發(fā)推者——本文之后的結(jié)果一節(jié)會(huì)更多地討論這個(gè))。這30000條推文基本上是在Android和非Android設(shè)備間均勻分布的(47%/53%),所以不用擔(dān)心類別失衡問題。這是我用的訓(xùn)練數(shù)據(jù)。使用若干不同的技術(shù),我基于數(shù)據(jù)創(chuàng)建了將近900個(gè)不同的特征,我的模型可以使用這些特征預(yù)測作者。
選擇特征
我查看了六方面的特征以建立模型:
川普的癖好
風(fēng)格
情感
情緒
遣詞
語法結(jié)構(gòu)
1234下一頁>(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )