巨量AI模型，為何微軟、浪潮、英偉達們都盯著它？

毫無疑問，人工智能乃當下最為吸晴的科技話題，從AlphaGo連勝多位人類圍棋頂尖高手，到波士頓機器人炫酷的訓練視頻，再到特斯拉的人形機器人，甚至創(chuàng)業(yè)導師時不時拋出“未來XX年，一半工作將消失”的觀點也總能吸引一大堆討論。

然而現(xiàn)實世界中，我們經(jīng)常會被智能客服的各種“智障”表現(xiàn)而無奈、為語音助手突然“發(fā)狂”而苦笑、為醫(yī)療機器人開出的錯誤藥方而擔憂……歸根結(jié)底，人工智能的發(fā)展離達到符合人們預期和使用依然有著較長的距離。

因此，巨量AI模型正加速浮出水面，被認為是解決各種AI挑戰(zhàn)的重要路徑。最近幾年，無論是國外谷歌、微軟，還是國內(nèi)浪潮、阿里等，都在加碼巨量AI模型的研發(fā)與投入。短短一段時間里，前有谷歌BERT、OpenAI GT-3等模型發(fā)布，后有浪潮發(fā)布全球最大中文AI巨量模型1.0、“微軟英偉達推最大單體AI語言模型”，將巨量AI模型的競爭推向了新高潮。

為什么會出現(xiàn)巨量模型

在AI的世界里，理想很豐滿、現(xiàn)實很骨干。

如果你了解過北京西二旗以及北京周邊的大量數(shù)據(jù)標注工廠，你就會認為“有多少人工，就有多少智能”這句揶揄之語并非虛言。坊間甚至都說，離開了那些數(shù)據(jù)標注工廠，AI將寸步難行。

如今，AI發(fā)展的確遇到了現(xiàn)實困境：

歸根結(jié)底，這種項目式的AI應用現(xiàn)狀的確是目前阻礙AI大面積落地的最大挑戰(zhàn)。有何解決之道？現(xiàn)在業(yè)界認為，預訓練巨量模型正在著力改變這種局面，是解決AI應用開發(fā)定制化和碎片化的重要方法。巨量模型目的是實現(xiàn)一個巨量AI模型在多個場景通用、泛化和規(guī)模化復制，減少對數(shù)據(jù)標注的依賴，大幅降低AI開發(fā)與應用的使用成本，真正有希望讓AI打開工業(yè)化規(guī)模應用的局面。

這也推動了人工智能從“大煉模型”逐步邁向了“煉大模型”的階段，利用先進的算法，整合大規(guī)模的數(shù)據(jù)，匯聚大量算力，訓練出巨量人工智能模型。針對源1.0等目前市場上發(fā)布的巨量模型，浪潮信息副總裁劉軍有個形象的比喻：能進化、更智能的大腦，類似元宇宙中的生命，其復雜綜合系統(tǒng)的能力決定了未來在數(shù)字世界的智能水平程度。

斯坦福大學李飛飛教授等人工智能領域知名學者近期也在論文中表示，巨量模型的意義在于突現(xiàn)和均質(zhì)。突現(xiàn)意味著通過巨大模型的隱含的知識和推納可帶來讓人振奮的科學創(chuàng)新靈感出現(xiàn)；均質(zhì)表示巨量模型可以為諸多應用任務泛化支持提供統(tǒng)一強大的算法支撐。

可以說，人工智能如何發(fā)展出像人類一樣的符合邏輯、意識和推理的認知能力，除了加速深度學習技術、開發(fā)全新算法范式等研究方向外，大規(guī)模數(shù)據(jù)訓練超大參數(shù)量的巨量模型一定是未來重要發(fā)展方向。

源1.0是如何煉成的

提到巨量模型，就不得不提OpenAI。

去年，OpenAI組織發(fā)布了GPT-3模型，該模型擁有1750億參數(shù)量、500G高質(zhì)量預訓練數(shù)據(jù)集，相比于上一代GPT-2模型，各方面數(shù)據(jù)提升了百倍有余，一下將模型體量提升到一個新高度。隨著OpenAI GPT-3的發(fā)布，業(yè)界也見識了巨量模型的威力。根據(jù)OpenAI年初公布的數(shù)據(jù)顯示，GPT-3推出9個月以來，已有 300 多種不同的應用程序在使用 GPT-3，且全球數(shù)以萬計的開發(fā)人員正在基于該平臺開發(fā)，每天可產(chǎn)生 45 億個字。

自此，巨量模型開啟了“刷參數(shù)”的模式：阿里達摩院M6模型1萬億參數(shù)量、Google Switch Transformer 1.6萬億參數(shù)量、微軟英偉達Megatron-Turing模型5300億參數(shù)量、浪潮源1.0模型2457億參數(shù)量……

在動輒千億、萬億參數(shù)量的巨量模型面前，我們還需要了解巨量模型的兩種實現(xiàn)模式：一種則是“混合模型”，如Google Switch Transformer、阿里達摩院M6等；另一種則是“單體模型”，如浪潮源1.0、微軟聯(lián)合英偉達發(fā)布的Megatron-Turing等。所謂“混合模型”即是由多個相對較小的模型組成，然后通過開關的方式組合起來；而“單體模型”則對算力、算法優(yōu)化、數(shù)據(jù)分布、模型參數(shù)與結(jié)果優(yōu)化等方面要求更高，其模型精度也更高。

“巨量模型的是一門技術門檻特別高的研究工作，它開展工作的前提是大規(guī)模集群。除了將集群用起來，還需要發(fā)揮好的性能，需要在模型算法、分布式計算等各個層面協(xié)同設計、優(yōu)化，浪潮在這些方面都有著很深的積累?！崩顺比斯ぶ悄苎芯吭菏紫芯繂T吳韶華博士如是說。

浪潮人工智能研究院于9月底發(fā)布源1.0就是屬于典型的“單體模型”。作為全球最大中文語言（NLP）預訓練模型，源1.0模型參數(shù)量高達2457億，訓練采用的高質(zhì)量中文數(shù)據(jù)集高達5000GB，相比GPT-3模型1750億參數(shù)量和570GB訓練數(shù)據(jù)集，源1.0參數(shù)規(guī)模領先40%，訓練數(shù)據(jù)集規(guī)模領先近10倍，在預訓練數(shù)據(jù)量方面甚至比微軟英偉達Megatron-Turing高6倍。

源1.0所聚焦的自動然語言處理（NLP）模型堪稱人工智能皇冠上的明珠，相比于機器視覺、語音識別等感知智能，自然語言處理模型屬于更具難度的認知智能，聚焦在理解、思考問題，并給出合適答案。在自然語言處理領域，中文的理解又更具難度，相比于英文有空格作為分隔符，中文分詞缺乏統(tǒng)一標準，同樣一個詞匯在不同語境、不同句子中的含義可能會相差甚遠，加上各種網(wǎng)絡新詞匯參差不齊、中英文混合詞匯等情況，要打造出一款出色的中文語言模型需要付出更多努力。

以源1.0為例，浪潮人工智能研究院在預訓練數(shù)據(jù)集上就投入了大量的精力，在海量中文互聯(lián)網(wǎng)等各方面尋找到公開數(shù)據(jù)，匯聚成龐大的數(shù)據(jù)集之后，進行清洗、整理，最終形成5000G規(guī)模的高質(zhì)量中文訓練數(shù)據(jù)集。

模型規(guī)模是越來越大，但實際應用效果不行也是白搭。來看看源1.0的實際表現(xiàn)，在權威中文語言理解測評基準CLUE中，源1.0占據(jù)零樣本學習（zero-shot）和小樣本學習（few-shot）2項榜單榜首，在10項子任務中獲得冠軍，在成語閱讀理解填空項目中，源1.0的表現(xiàn)已超越人類的智能。

如何理解源1.0所取得的測試成績？零樣本學習（zero-shot），考驗的是模型直接應用到特定場景中的能力；小樣本學習（few-shot）則是投入少量數(shù)據(jù)樣本，模型的精度即可大幅提升起來。零樣本學習和小樣本學習能力越強，意味著該模型就越有可能在多個場景中實現(xiàn)通用、泛化和規(guī)模化復制，對于降低AI使用門檻是大有裨益，這也是目前巨量模型最為聚焦的競爭點。

再來看看源1.0挑戰(zhàn)“圖靈測試”的成績。圖靈測試是判斷機器是否具有智能的最經(jīng)典的方法。在對源1.0進行的“圖靈測試”中，將源1.0模型生成的對話、小說續(xù)寫、新聞、詩歌、對聯(lián)與由人類創(chuàng)作的同類作品進行混合并由人群進行分辨，測試結(jié)果表明，人群能夠準確分辨人與“源1.0”作品差別的成功率已低于50%。

模型開放AI走向普及是必然路徑

隨著巨量模型近年來所取得的成功，以及在多任務泛化及小樣本學習上的突出表現(xiàn)，讓人們看到了探索通用人工智能的希望。眾所周知，要想真正進入到一個智能世界，通用人工智能技術的突破性進步與普及速度是關鍵，巨量模型的快速發(fā)展必然對于數(shù)字化、智能化有著巨大推動作用。

但AI真正走向普及，巨量模型開放是一條必然之路。這點從OpenAI GPT-3發(fā)布一年以來所帶來的廣泛影響中可見一斑。

事實上，巨量模型從自身定位來看，其本身扮演著降低AI門檻、提升創(chuàng)新速度的角色；而且通過開放的方式，在更加廣泛的應用場景中得到使用，巨量模型可以不斷優(yōu)化與提升，形成閉環(huán)；更加關鍵的是，未來的數(shù)字世界廣闊應用空間，決定需要更多、更出色的巨量模型來加速構建智能世界。

以浪潮為例，浪潮源1.0致力于打造最“博學”的中文AI模型，計劃面向科研機構和行業(yè)客戶開放能力接口和開發(fā)接口，降低AI開發(fā)者和行業(yè)用戶的使用門檻，以更通用的人工智能大模型賦能科研創(chuàng)新、公共服務智慧化升級和產(chǎn)業(yè)AI化應用，讓智能更快普及到社會民生經(jīng)濟與科技創(chuàng)新等各個領域。

未來已來，未來可期！以源1.0為代表的巨量模型正在開啟人工智能發(fā)展的下一個階段，巨量模型猶如諸多智慧應用的源頭，為智慧應用提供源源不斷的智慧源泉。而浪潮源1.0的發(fā)布，也標志著中國廠商在通用人工智能的探索上走在了業(yè)界的前列，有望為千行百業(yè)數(shù)字化轉(zhuǎn)型和智能化升級注入源源不斷的中國智慧。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。