自ChatGPT問世以來,以通用人工智能為代表的AI技術發(fā)展開始“狂飆”,多家企業(yè)和研究機構入局大模型賽道,新應用場景不斷涌現(xiàn)。如何理解通用人工智能技術將帶來的巨大影響,并把握隨之而來的機遇和挑戰(zhàn),是我們面臨的兩大關鍵問題。
5月13日,「直面AI的新一輪變革浪潮」TVP走進騰訊活動重磅召開,活動邀請了來自產、學、研等領域的技術專家,閉門暢聊AI前沿熱點、未來趨勢,以多元視角碰撞出眾多深度觀點與精彩火花。
大模型時代的學科交叉研究:以政治人物建模為例
復旦大學大數(shù)據學院副教授、數(shù)據智能與社會計算實驗室負責人魏忠鈺帶來了題為《大模型時代的學科交叉研究:以政治人物建模為例》的主題分享。
魏忠鈺老師首先分享了現(xiàn)如今人類進入大模型時代,大模型為學科交叉研究帶來的機遇與挑戰(zhàn),并以政治人物建模為例,剖析大模型對學科交叉研究的影響。
人類進入大模型時代
在自然語言處理領域,每個時代都有對應的范式。經歷專家系統(tǒng)、淺層機器學習及深層學習這三個發(fā)展階段,隨著ChatGPT及GPT-4的出現(xiàn),人類進入新的范式——由基座模型-指令微調-人類反饋形成的框架。
魏忠鈺老師分析到,作為當下最前沿的技術力量,相較于傳統(tǒng)范式,大模型優(yōu)勢更明顯:
● 特征表示上,專家系統(tǒng)是基于規(guī)則的辦法;淺層機器學習具備明顯的手工特征;深層學習采取低維稠密的建模方式;大模型升級到用簡單結構化數(shù)據,處理大規(guī)模高維復雜數(shù)據的水平。
● 模型構建上,傳統(tǒng)范式只能根據任務,制作對應的定制模型,如分類模型、生成模型、檢索模型等;大模型以生成式框架完成多種任務,實現(xiàn)模型的大統(tǒng)一。
●泛化能力上,過去每個模型只能解決一個指定任務或者一組相關任務;而預訓練的大模型可以在幾乎所有自然語言處理任務中進行小樣本甚至零樣本的適配使用。
大模型為學科交叉帶來的機遇與挑戰(zhàn)
大模型通過構建基座模型、利用交叉數(shù)據微調,在人機交互中不斷優(yōu)化,實現(xiàn)快速開發(fā)具備一定動態(tài)交互能力的智能系統(tǒng),解決了傳統(tǒng)范式在學科交叉領域上存在的數(shù)據樣式多變、難以泛化與復用、交互能力弱等問題。
魏忠鈺老師分析到,大模型為學科交叉帶來新機遇,提供統(tǒng)一的建模范式、實現(xiàn)知識遷移、提高建模效果以及重塑學科交叉的技術框架。但大模型也有局限性,它以語言模型為基礎,僅能處理文本序列數(shù)據,對真實場景中存在的其它蘊含知識的數(shù)據形態(tài)進行處理,比如行為數(shù)據、關系數(shù)據等。
魏忠鈺老師表示,想要真正發(fā)揮大模型在學科交叉研究的影響,需要在強大的語言模型的基礎上,考慮如何增強其多數(shù)據類型的處理能力,擴展它對于領域知識的理解和使用,只有這樣才能達到對真實世界的深層次理解。
以政治人物建模為例,在大模型時代下學科交叉研究的發(fā)展
政治人物建模是用數(shù)據構建政治人物的全面畫像,關鍵數(shù)據來源于公開言論、關系數(shù)據及行為數(shù)據。魏忠鈺老師介紹了在研究過程中的三個階段:
●行為建模:基于政治人物的投票數(shù)據進行建模,可理解其政治傾向。
●社會關系建模:構建政治人物之間的互動與合作關系網絡,可理解其在政治網絡中的角色與地位。
●言論內容建模:分析政治人物的公開言論與文本數(shù)據,提取觀點與立場,可理解其思想主張。
三種類型的數(shù)據,在政治人物畫像的過程中各自有自己的局限性,行為建模的數(shù)據易受外界影響,難以清晰表達人的核心理念;社會網絡分析僅依賴關系數(shù)據,難以深入理解人的思想與主張;言論數(shù)據受到開放平臺的影響,難以全面反映目標的真實立場。基于圖模型的建模方法可以將這三種類型的信息進行有效融合,完成對于目標人物的全面建模。
圖模型雖然可以有機融合三種數(shù)據,但是在具體的使用過程中,它也有自己的局限性,比如框架難以快速對未見過的議員進行快速的表示學習,從而限制了模型的場景遷移能力。為了進一步完善政治人物建模,魏忠鈺老師及相關研究人員利用語言作為政治人物的表示學習基礎,構建出一體化的政治人物表征框架,特點如下:
●不直接學習政治人物節(jié)點的表征,而是學習政治人物言論到其表征的映射過程。
●通過檢索政治人物的所有公開言論,構建兩種粒度的言論表征:通用言論表征與政治領域言論表征。
●通過兩種自監(jiān)督任務實現(xiàn)場景知識的注入與優(yōu)化:
(1)結構感知對比學習:利用人物與黨派、其他人物的關系作為監(jiān)督信號更新參數(shù)。
(2)行為驅動對比學習:利用人物與投票結果的關系作為監(jiān)督信號更新參數(shù)。
在大模型基礎之上,政治人物表征框架利用大規(guī)模語料構建語言模型,通過設計自監(jiān)督任務,實現(xiàn)外界知識的注入與優(yōu)化,打開了一條融合多學科與多模態(tài)知識的新路徑,助推學科交叉領域的進一步發(fā)展。
引爆:ChatGPT與AIGC帶來的思考與應用趨勢
騰訊政策發(fā)展中心副主任Darren老師,帶來了《引爆:ChatGPT與AIGC帶來的思考與應用趨勢》的主題演講,從變革趨勢、產業(yè)應用及后續(xù)布局角度切入進行分享,探討AI技術發(fā)展如何為用戶創(chuàng)造更高價值。
從超級個體看AIGC的發(fā)展
Darren老師指出,ChatGPT和GPT-4等先進語言模型的出現(xiàn),標志著AI已經初步實現(xiàn)與人類的自然交互。這一突破預示著AI將對各行各業(yè)產生深遠影響。然而,將AI視為產品或服務的賣點是片面的,應把AI深度融入產品或服務之中,成為核心競爭力。
另一大趨勢為產品逐漸從適應大多數(shù)用戶,轉向滿足每個用戶的個性化需求,這意味著“產品適配用戶”將取代“用戶適配產品”,甚至會出現(xiàn)“一次性使用”的產品。Darren老師表示,隨著技術的進步,個性化定制的AI助理即將問世,但這項技術的前提,需要企業(yè)掌握海量的用戶數(shù)據,深度理解用戶需求并迅速響應,這意味著企業(yè)需有快速的產品設計與迭代能力。
從應用角度看AIGC的影響
AI技術的快速發(fā)展正在驅動產業(yè)變革,大模型與生成式人工智能的出現(xiàn)顯現(xiàn)出強大的生產力。Darren老師認為,隨著大模型參數(shù)的增加和泛化能力的提高,AI可以完成更復雜的任務,生成式人工智能可高效生產各種創(chuàng)意和素材。
在人工智能的加持下,電商領域形成了逆向種草現(xiàn)象,通過AI生成多樣化案例,吸引用戶主動提出定制化意見,從而實現(xiàn)快速生產與銷售;AI變聲技術通過人工智能賦能音樂創(chuàng)作,實現(xiàn)更豐富多樣的音樂體驗;AI生成包裝設計可自動生成設計方案,提高效率的同時,滿足品牌和用戶的個性化定制需求。從C端滲透到B端,AI技術為傳統(tǒng)行業(yè)帶來了深刻影響。
大模型的未來布局
大模型創(chuàng)新面臨著社會各界缺乏共識以及企業(yè)視角局限的挑戰(zhàn),該如何衡量創(chuàng)業(yè)賽道是否適合應用AI技術呢?Darren老師指出,關鍵因素在于賽道對AI技術的濃度。所謂“濃度”是指AI技術在這一賽道上的實際應用程度與集成度,只有當AI技術能夠高度融入并在業(yè)務流程或領域中發(fā)揮關鍵作用時,才有望將AI從輔助工具變成顛覆性武器,從簡單的“點綴”變成“改變游戲規(guī)則”的力量。AI的最高境界,就是AI與業(yè)務場景的深度融合。
選擇研發(fā)通用大模型還是領域模型?Darren老師表示,通用大模型與領域模型的優(yōu)勢不同,通用大模型具有海量數(shù)據,專屬模型在特定領域中表現(xiàn)出色,例如Bloomberg的金融領域專業(yè)模型,需大量金融知識與數(shù)據投入,才能超越通用模型的表現(xiàn)。因此若是細分行業(yè),可以嘗試建立領域專屬模型。預計下半年會有更多垂直領域的AI模型問世,這將成為未來企業(yè)創(chuàng)造價值的重要途徑。
圓桌論壇 |ChatGPT狂飆,如何應對AI的新一輪技術變革?
本場圓桌論壇以《ChatGPT狂飆,如何應對AI的新一輪技術變革?》為主題,由新浪微博新技術研發(fā)負責人、騰訊云TVP 張俊林老師擔任主持,提出眾多深度問題,圖靈聯(lián)合創(chuàng)始人、智源研究院前副院長、騰訊云TVP創(chuàng)始委員 劉江老師、復旦大學大數(shù)據學院副教授、數(shù)據智能與社會計算實驗室負責人 魏忠鈺老師、熵簡科技聯(lián)合創(chuàng)始人、騰訊云TVP 李漁老師共同參加對話交流。
ChatGPT引發(fā)巨大反響的原因
李漁:這次給我們非常大的震撼,讓我們意識到AGI的曙光真正來了。我之前一直從事NLP方面的研究,這次以ChatGPT為代表的技術,相對之前有兩個方面的重要突破,第一,有強大的通用學習能力,用一個模型可以做各種各樣專業(yè)的任務,我們在多個金融場景下測試,效果超出業(yè)務人員預期;第二,它有強大的常識與推理能力,具備較為完備的常識知識與理解力,在生成語言表達時可根據上下文做出精準回應。
魏忠鈺:學術研究到產品化到商業(yè)落地,這個過程一直是非常漫長的,這個過程也給了整個社會接受新技術的時間。然而類似于ChatGPT這樣的大規(guī)模語言模型,本來在技術層面上就是最前沿的,而得益于優(yōu)秀的產品設計,直接從最前沿的學術理論,一躍成為商業(yè)產品,這帶來的影響是震撼的。相當于社會對最新技術的理解消化過程急劇縮短了。
通用大模型VS領域大模型的關系
魏忠鈺:通用模型和領域模型區(qū)別在于,通用大模型提供最基本的語義理解與知識表達能力,領域模型針對特定領域數(shù)據與任務進行優(yōu)化,具有更加專業(yè)的知識與理解力。雖然大模型具備了強大的泛化能力,但在特定任務的學習過程中仍然存在一定程度的“災難遺忘”,使得它在具體任務中的表現(xiàn)并非出類拔萃。在一些特定場景下,我們對于模型的寬容度很低,因此,需要對模型進行任務或者場景導向下的定向調優(yōu),這給領域模型留出了空間。
張俊林:關于這兩者的關系,現(xiàn)在市面上存在兩種不同的觀點。一種觀點認為,未來通用模型將越來越強,領域模型只有建立在非常強大的通用模型上才能發(fā)揮最大優(yōu)勢;另一種觀點則認為,直接利用領域數(shù)據在普通的通用模型上進行修正與優(yōu)化,可以更快建立適用于該領域的強大模型。目前很多人更偏向于第二種觀點。
李漁:我覺得通用模型和領域模型是互補的關系。GPT-4代表當前通用大模型的天花板,它的背后對應著一個非常強大的認知能力,這種強大的認知和推理能力在小模型或是領域模型上是很難實現(xiàn)的。領域模型的好處在于更專業(yè)的場景上有更專業(yè)的知識和表達。在特定的任務場景下?lián)碛歇毺貎?yōu)勢。二者互相配合去完成現(xiàn)實世界中的各種復雜任務。
國內大模型研發(fā)的現(xiàn)狀、機遇與挑戰(zhàn)
李漁:大模型整個生態(tài)是一個完整的鏈條,從基礎的算力到大模型的研發(fā),再到產品化落地,是一個很廣的生態(tài)。做基座大模型對資源投入要求確實很高,目前階段,對于小團隊而言,做一些垂直領域的差異化的產品是更好的選擇。另外,算力的提升也是影響國產大模型發(fā)展很重要的方面。國內研發(fā)出與GPT-4完全對標的大模型所需要的具體時間目前來看較難確定,這取決于很多因素,但如果某個模型的認知與學習能力不斷在進化,它可以反過來調教另外的模型,實現(xiàn)螺旋上升的效果。
魏忠鈺:對國內大模型的研發(fā),我保持樂觀態(tài)度,并且相信在基座大模型方面雙方距離是會越來越接近的,在當前的開源環(huán)境下,很多的所謂的“護城河”并不堅固,甚至可以說,沒有秘密可言。另外一個判斷是,目前的大模型依舊難以突破“意識”的天花板,現(xiàn)在我們看到的或許已經是當前技術路徑的最終形態(tài)了,難以通過迭代實現(xiàn)“階躍式”的進步。如果是這樣的話,那么,我們還有足夠的時間去無限靠近當前的最終形態(tài)。
張俊林:類似GPT水準的模型,我相信國內一定是可以做出來的,只要持續(xù)投入計算資源、數(shù)據采集與人才團隊等方面的成本就可以。我認為明年6月之前是可以做出對標ChatGPT3.5版本的,但是能達到具備GPT-4水準的模型,我的態(tài)度不太樂觀。因為就目前來說國內整體環(huán)境還是相對浮躁,要達到GPT-4水準還需要研發(fā)攻堅和大量的創(chuàng)新投入。
AI重構產業(yè)形態(tài),如何應對沖擊與變革
李漁:我認為我們應持積極擁抱的態(tài)度。ChatGPT作為工具,將為我們的工作效率帶來乘數(shù)級別的提升。越聰明、越積極主動的人,這個工具給他帶來的乘數(shù)效應將會越大,這對于個人而言是極其幸運的。對于企業(yè)來說,管理層也應當把數(shù)字員工計劃作為企業(yè)的重要議題開始考慮,當然這需要一定的時間。
魏忠鈺:我非常贊同超級個體這一概念。在這個時代后,對于個人創(chuàng)業(yè)者將會越來越友好。ChatGPT出來后,可以預見到很多技術門檻將會越來越低,在大模型時代,我們應該發(fā)揮主觀能動性,想方設法把這個東西用起來,真正去創(chuàng)造價值。
結語
隨著大模型技術的日益成熟,未來通用人工智能將引發(fā)更多領域的變革與重塑,深層次的人工智能應用將創(chuàng)造更多跨業(yè)態(tài)、個性化、高效率的商業(yè)模式與服務模式。在通用人工智能時代,TVP將繼續(xù)秉持著“用科技影響世界”的初心,通過每一場深度分享,攜手行業(yè)技術專家,共同助推人工智能的健康發(fā)展,讓技術普惠于人。
TVP,即騰訊云最具價值專家(Tencent Cloud Valuable Professional),是騰訊云授予云計算領域技術專家的一個獎項。TVP致力打造與行業(yè)技術專家的交流平臺,促進騰訊云與技術專家和用戶之間的有效溝通,從而構建云計算技術生態(tài),實現(xiàn)“用科技影響世界”的美好愿景。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )