史上最強NLP模型GPT 2.0的吃瓜指南

元宵一過 ，年就算正式過完了。沒曾想OpenAI和馬斯克，居然抓住了春節(jié)的小尾巴，攜手為全球人民貢獻出一個大瓜。

事情是這樣的，上周OpenAI推出了一個號稱“史上最強通用NLP模型”的新算法GPT-2.0，卻沒有按照慣例開放該模型和數(shù)據(jù)集。

研究人員們的溢美之詞還沒來得及說完，立馬被OpenAI這波操作氣得怒從心頭起，紛紛斥責它全忘初心、惡意炒作。

有人吐槽它應該改名叫“ClosedAI”，還有人把怒火燒到了OPENAI的資助者之一的埃隆·馬斯克身上。后者卻立馬甩鍋，表示“沒有參與 OpenAI 公司事務已超過一年”，“早就理念不合”，正式發(fā)推要求“和平分手”……

不但惹了眾怒，還把創(chuàng)始人兼金主爸爸給玩跑了，OpenAI這是攤上大事，順手承包了一個瓜田啊。

想要有技術、有品位地吃瓜，先得了解一下，能攪亂技術社區(qū)的一池春水、讓OpenAI心甘情愿背鍋的“罪魁禍首”——GPT2.0，到底有什么神奇之處？

風暴中心的GPT2.0究竟有多特別？

我們知道，訓練大型神經(jīng)網(wǎng)絡語言模型一直是NLP領域最具含金量的研究。其中，語義的連貫性，也就是語言生成模型預測上下文的準確度，一直是一個“老大難”問題。

為了解決這個難題，性能更好的通用語言模型就成了研究人員關注的重點。從AI2的 ELMo，到OpenAI的GPT1.0，再到前不久Google的BERT，都是為了讓機器不再尬言尬語顛三倒四，說話更加通順連貫。

但萬萬沒想到，幾個月前號稱“引領NLP走進新時代”的BERT，這么快就被GPT2.0取代了。

按照深度學習四大要素來對比一下，GPT 2.0到底強在哪里呢？

1. 訓練數(shù)據(jù)。引發(fā)廣泛關注的BERT，使用了3億參數(shù)量進行訓練，刷新了11項NLP紀錄，這在當時是前所未有的。

而OpenAI推出的GPT-2，則參數(shù)量則“喪心病狂”地達到了15億之多，在一個800 萬網(wǎng)頁數(shù)據(jù)集上訓練而成，覆蓋的主題五花八門。不夸張的說，GPT-2 可能是當前最大的深度模型了。

2. 模型。在深度學習方法上，“先進代表”BERT和GPT-2都采用了Transformer 技術。與傳統(tǒng)的特征抽取器RNN、CNN相比，Transformer無論是特征抽取、計算效率，還是翻譯任務的綜合能力上，都穩(wěn)操勝券。

不同之處在于，BERT用雙向語言模型做預訓練，而GPT2.0則使用了古早時代的單向語言模型。坦率地說，GPT-2在預訓練中可以使用的架構類型因此受到了限制，無法全面地融合語境，結果就是在下游任務中展現(xiàn)出來的性能遠沒有當初BERT來得驚艷。

至于為什么不“見賢思齊”，采用更先進的雙向語言模型，大概是用長矛干翻步槍這種挑戰(zhàn)，更能彰顯出“藝高人膽大”的極客風范吧。

3. 算力?！熬逕o霸”GPT-2的預訓練數(shù)據(jù)量規(guī)模橫掃所有玩家，使用了約 1000 萬篇文章的數(shù)據(jù)集，文本集合達 40GB。這樣訓練出來的語言模型優(yōu)勢很明顯，比使用專有數(shù)據(jù)集來的通用性更強，更能理解語言和知識邏輯，可以用于任意領域的下游任務。

但要完成這項任務，必須使用超大規(guī)模的GPU機器學習集群，OpenAI為此不得不去爭奪緊張而昂貴的GPU訓練時間，光是龐大的開銷就足以勸退很多想復現(xiàn)其工作的研究者了。

4. 應用。說了這么多，GPT-2的實際應用效果究竟如何呢？來欣賞一下它的文學作品：

輸入喬治·奧威爾《一九八四》的開場白：“這是四月的一天，天氣晴朗而寒冷，鐘敲了十三下”。系統(tǒng)就識別出模糊的未來主義基調和小說風格，并繼續(xù)寫道：

“我在去西雅圖找新工作的路上開著車。我把汽油放進去，把鑰匙放進去，然后讓它跑。我只是想象著那天會是什么樣子。一百年后的今天。2045 年，我在中國農(nóng)村的一所學校教書。我從中國歷史和科學史開始?！?/p>

不僅情緒模仿到位，GPT-2還能創(chuàng)新觀點（哪怕是錯誤的）。比如發(fā)表“回收對世界不利。這對環(huán)境有害，對我們的健康有害，對經(jīng)濟不利?！边@樣毫不政治正確、似是而非的言論。

從實際效果來看，GPT-2理解上下文、生成段落、語序連貫性的能力還是有目共睹的。難怪有專家說，未來加上情節(jié)的約束，GPT-2續(xù)寫《紅樓夢》后40回也是有可能的。

儼然是一顆冉冉升起的寫作新星，也確實能忽悠到一大部分不明所以的群眾。但連“跨時代”的BERT都爽快開源了，也就優(yōu)秀了那么一小點的GPT-2的閉源，就顯得有些耐人尋味了。

從技術斗士到眾矢之的：OpenAI是如何打錯一手好牌的？

甩出一個“怕被惡意用來制造假新聞”的說辭，自然說服不了經(jīng)歷過大風大浪的人民群眾。假視頻都見識過了，機器人代筆寫點新聞算什么呢，何況也就是小學生水平，至于“敝帚自珍”嗎？

同業(yè)們開始口誅筆伐，馬斯克走得是瀟灑無比。細數(shù)一下，OpenAI為之詬病的三宗罪：

1.違背了開放的行業(yè)“潛規(guī)則”

今日的互聯(lián)網(wǎng)，開源文化早已枝繁葉茂，在AI領域，開放更是默認選項了。

底層技術的更新?lián)Q代，需要更廣泛的生態(tài)系統(tǒng)、更多的頂尖技術人員、更多的機構參與才能做好，開放合作顯然能最快地催生出更多尖端的創(chuàng)新。

正是因此，絕大多數(shù)研究成果及源碼，都可以通過博客、會議、社區(qū)等公開形式獲取，這樣做的另一個好處是，避免研究資源被浪費，最大限度地保證研究的合理性和真實性。OPENAI的閉源顯然違背了這一基本規(guī)則。

2.慣性炒作帶來的“暈輪效應”

心理學上有個規(guī)律，叫“暈輪效應”，當認知者對一個人的某種特征形成固定印象后，還會再從這個判斷推論其他方面的特征。OPENAI就很不幸地背上了一個“欺騙性炒作”前科的“光環(huán)”，并成功引發(fā)了大家的聯(lián)想。

之前在一對一DOTA2中打敗頂級人類玩家 “Dendi”，OPENAI就發(fā)出了諸如“攻陷DOTA2”“AI完虐人類”“碾壓AlphaGo”等宣言，就被指過于浮夸。

過度夸大、誘導媒體報道的事情OPENAI實在沒少干。目光回到GPT-2，普遍觀點是，為了避免造假風險而不開放，既對安全毫無幫助，也對技術進步無益。

面對非要采用過氣模型的固執(zhí)，和“碾壓人類作者”的語氣，大家立馬從熟悉的套路中嗅到了“同樣的配方和味道”。那點可取之處，也被既往炒作“AI焦慮”的后遺癥所反噬了。

3.助長AI集權的真實陰影

如果說上述指責都難免帶點理想主義情緒的話，那么GPT-2私有化帶來的實實在在的影響，恐怕才是點燃大眾恐慌的真正導火索。

作為“新的石油”，數(shù)據(jù)資源早就顯示出封閉的跡象。谷歌、亞馬遜、Facebook這些科技巨頭手里積累了大量的數(shù)據(jù)財富，并且越來越強大。各國都將AI成果視為國家戰(zhàn)略資源，德法等已經(jīng)開始對數(shù)據(jù)收集及使用征稅。

而以GPT-2為代表的無監(jiān)督學習趨勢，又意味著技術進步與創(chuàng)新愈加依賴于更大容量的模型和超大規(guī)模的數(shù)據(jù)集支持。

也就是說，一旦大公司不愿意開放源碼和數(shù)據(jù)集，財力不足的學府和中小開發(fā)者極有可能就會被請出牌桌。

當初說要“為全人類 AI 技術保駕護航”的OpenAI都搞起了私有化，顯然令開源文化“腹背受敵”，起到了很惡劣的示范作用，怎么懟都不冤。

不過，只是一味指責，咱們這瓜就吃的太沒有技術含量了。關鍵要搞清楚，為什么明知會被噴，OpenAI還非要這么干呢？

開源和私有化：算法公司的商業(yè)困境

OpenAI選擇技術私有化，雖然有著種種的不合情，在知識產(chǎn)權歸屬上卻并沒有什么可指摘的地方。而逼得它不得不違背理想的根本原因，或許才是AI和全人類真正的敵人。

簡單來說，正是算法公司們集體商業(yè)化失守。

美國當代技術哲學家芬伯格（Andrew Feenberg）在上個世紀90年代就曾經(jīng)提出過，技術的開放是為了提高全社會的技術福利，而非打擊技術的商業(yè)價值。但直到今天，算法的商業(yè)化之路依然道阻且長。

在高昂的數(shù)據(jù)及研發(fā)成本下，算法公司想要支撐長期的研究，主要有三種方式：

1.售賣專利。算法研發(fā)可算是AI產(chǎn)業(yè)鏈中最上游、最具價值的業(yè)務，但即便算法公司手握專利，在更深層次的軟硬件應用方案不成熟的大環(huán)境下，也很難養(yǎng)活自己。

2.開源，從其他業(yè)務獲益。借鑒互聯(lián)網(wǎng)“羊毛出在豬身上”的商業(yè)模式，算法的價值可以通過其他業(yè)務的補充來實現(xiàn)。

比如Facebook一直致力于開放其所有代碼和技術架構的源代碼，吸引來不少優(yōu)秀的開發(fā)者，品牌和口碑也借此大漲。但前提是，F(xiàn)acebook不靠售賣軟件盈利，開源不會沖擊自有業(yè)務。對于單純的算法公司來說，顯然不可行。

3.找金主“包養(yǎng)”。目前看來，尋找一個大型商業(yè)機構得到資助，幾乎是算法公司最好的歸宿了，比如谷歌之于Deepmind，特斯拉之于OpenAI。但受制于人的日子顯然也并不好過。

兩者結合的結果就是，一邊需要滿足投資人追求回報的愿望；一邊還要提防著主業(yè)務受創(chuàng)耽擱自己搞技術。此次馬斯克退出董事會，OpenAI的未來頓時就不明朗起來。

總而言之，OpenAI的開源困境背后，也暴露出一種純技術公司的集體無奈：你得開源，要不然沒法維持技術生態(tài)；又不能啥都開源，捧著金碗要飯。這個度真的是很難把握。

不難意識到，隨著數(shù)據(jù)封閉的浪潮，AI開源的未來不容樂觀已是既定事實，OpenAI只不過是加了一把火而已，私有化的鍋它一個可背不動。

要解決這個問題，靠的不是道德綁架或者祈求大機構的仁慈，口水戰(zhàn)可以休矣。而是集全社會之力，更快催熟完善的產(chǎn)業(yè)鏈體系，激活更多元的商業(yè)模式和應用場景。

算法的商業(yè)化價值初現(xiàn)曙光的時候，才是科技企業(yè)有力量承擔社會責任的時候。

生成海報

免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。