百度沈抖:模型精調(diào)指數(shù)級增長,大模型進入深度應(yīng)用期

11月12日,以“應(yīng)用來了"為主題的百度世界2024在上海召開。會上,百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖分享了百度智能云在大模型產(chǎn)業(yè)落地方面的最新進展,并在企業(yè)級AI原生應(yīng)用開發(fā)、大模型開發(fā)調(diào)優(yōu)等方面發(fā)布一系列全新功能。

目前,百度智能云擁有中國最大的大模型產(chǎn)業(yè)落地規(guī)模。超過六成的央企和大量的民營企業(yè),正在聯(lián)合百度智能云進行AI創(chuàng)新。百度智能云千帆大模型平臺已經(jīng)幫助客戶精調(diào)了3.3萬個模型、開發(fā)了77萬個企業(yè)應(yīng)用、文心大模型日均調(diào)用量超過15億次。

沈抖表示,AI應(yīng)用正率先在B端爆發(fā)。由企業(yè)級大模型工程平臺、異構(gòu)算力平臺組成的新型AI基礎(chǔ)設(shè)施,將替代傳統(tǒng)云計算,為大模型應(yīng)用在企業(yè)生產(chǎn)力場景中的規(guī)模落地提供關(guān)鍵支撐。

(百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖)

AI應(yīng)用率先在B端爆發(fā)

60%央企使用百度云AI服務(wù)

2024年,大模型產(chǎn)業(yè)落地顯著提速,在行業(yè)場景覆蓋廣度、落地深度等方面都有顯著提升。目前,百度智能云已經(jīng)在能源、電力、制造、金融、交通、政務(wù)、互聯(lián)網(wǎng)、教育、電商等數(shù)十個行業(yè)、幾百個場景中落地大模型應(yīng)用。

在能源電力行業(yè),國家電網(wǎng)正在圍繞文心大模型、千帆平臺,結(jié)合電力行業(yè)高質(zhì)量數(shù)據(jù),聯(lián)合百度共創(chuàng)電力行業(yè)大模型基礎(chǔ)底座,并在調(diào)度、設(shè)備、營銷等六大專業(yè)領(lǐng)域深入探索。目前,已經(jīng)在電力設(shè)備運檢、供電服務(wù)等電力行業(yè)核心場景成功完成應(yīng)用落地。

在餐飲行業(yè),中國最大的餐飲公司百勝中國,基于文心大模型打造了AI智能客服系統(tǒng),為旗下包括肯德基在內(nèi)的多個品牌提供服務(wù)。百勝中國CTO張雷表示,目前,AI客服每天能夠為百勝中國處理超過15萬次消費者溝通,問題解決率高達(dá)90%;在輔助人工方面,AI客服能夠快速歸納、總結(jié)消費者訴求,輔助客服更快速、更精準(zhǔn)地回復(fù),整體效率提高10%!此外,大模型還能夠?qū)崟r評估客服服務(wù)質(zhì)量,幫助百勝中國進一步提升服務(wù)水平。

(百勝中國CTO張雷)

目前,百度智能云已經(jīng)擁有中國最大的大模型產(chǎn)業(yè)落地規(guī)模。已有超過六成的央企和大量的民營企業(yè),正在聯(lián)合百度智能云進行AI創(chuàng)新,文心大模型日均調(diào)用量超過15億次。

沈抖認(rèn)為,AI應(yīng)用正率先在B端爆發(fā),而“企業(yè)級”AI應(yīng)用大量涌現(xiàn)的背后,是產(chǎn)品服務(wù)形態(tài)的突破性變革與能力的大幅拉升。

以百度智能云“曦靈”數(shù)字人平臺為例,全新升級的“文生3D數(shù)字人視頻”功能,能夠大幅提升電商、教育、文旅等行業(yè)的內(nèi)容創(chuàng)作、營銷推廣效率,大幅降低成本支出。

比如,在電商領(lǐng)域,過去拍攝制作真人產(chǎn)品推廣短視頻需要專業(yè)團隊花費幾天時間才能完成。而“文生3D數(shù)字人視頻”只需一句話,就能生成符合不同行業(yè)場景特色的3D數(shù)字人形象和專業(yè)靈動的視頻,成本僅有傳統(tǒng)方式的1%,工作效率提升超過1倍!

沈抖表示,無數(shù)的AI應(yīng)用,正在重新定義人與數(shù)字世界、物理世界之間的交互方式?,F(xiàn)在,這些應(yīng)用已經(jīng)深入到企業(yè)“研產(chǎn)供銷服”的各個環(huán)節(jié),并成為企業(yè)提升競爭力的關(guān)鍵要素。

模型精調(diào)需求大增

千帆平臺發(fā)布工作流Agent、模型蒸餾兩大開發(fā)功能

傳統(tǒng)的企業(yè)業(yè)務(wù)中,復(fù)雜的工作和任務(wù)往往過度依賴專家經(jīng)驗和固有流程,即工作流;即便在數(shù)字化系統(tǒng)中,傳統(tǒng)工作流配置依舊是沒有“大腦”的機械執(zhí)行,難有實質(zhì)性的突破。

大模型具備強大的意圖理解和泛化能力,能夠充分理解工作流的目的與內(nèi)涵,相當(dāng)于一顆會思考的“大腦”;通過與企業(yè)工作流相結(jié)合,又可以有效解決大模型“幻覺”問題,增強大模型“控場能力”,保障復(fù)雜任務(wù)的決策與執(zhí)行準(zhǔn)確。二者結(jié)合,構(gòu)成了智能時代企業(yè)真正需要的“數(shù)字員工”。

本次大會,百度智能云千帆大模型平臺正式發(fā)布“工作流Agent”功能,旨在幫助企業(yè)快速開發(fā)出面向復(fù)雜對話場景的AI應(yīng)用,快速擁有專業(yè)水平的“數(shù)字員工”。通過學(xué)習(xí)各種企業(yè)流程與規(guī)范,工作流Agent能夠適應(yīng)不同崗位職責(zé),快速規(guī)?;瘡?fù)制,大幅提升企業(yè)運轉(zhuǎn)效率。

以保險行業(yè)為例,目前百度智能云正在基于工作流Agent探索、落地車險續(xù)保售前數(shù)字員工。過去,車險續(xù)保的工作指導(dǎo)包含大量流程、子流程、文檔等內(nèi)容,優(yōu)秀銷售人員稀缺,且培養(yǎng)周期往往長達(dá)一到兩年。基于工作流Agent開發(fā)金牌銷售數(shù)字員工,則最快可以在1小時內(nèi)完成、上線,大幅提升了企業(yè)車險業(yè)務(wù)的核心生產(chǎn)力。這樣的工作流Agent可以快速集成到百度搜索、微信公眾號、企業(yè)官網(wǎng)等業(yè)務(wù)系統(tǒng)中,便利觸達(dá)用戶。

目前,由工作流Agent開發(fā)的“續(xù)保金牌銷售”,已在百度智能云智能客服平臺“客悅”開放體驗。(http://m.ygpos.cn/uploadfile/pic2020/2024/1114/2024111414200386G align="center">

在醫(yī)療行業(yè),杭州全診醫(yī)學(xué)基于千帆平臺和文心大模型打造了AI醫(yī)療助理應(yīng)用,能夠在導(dǎo)診、預(yù)診、診間、入院、手術(shù)、隨訪等全階段服務(wù)醫(yī)生患者。以輔助醫(yī)生撰寫病歷為例,全診醫(yī)學(xué)通過使用20萬份精標(biāo)病歷數(shù)據(jù)對大模型進行精調(diào),使AI醫(yī)療助理的醫(yī)學(xué)用語更準(zhǔn)確、更規(guī)范,大幅提升病歷內(nèi)容質(zhì)量。病歷生成的準(zhǔn)確度提升了45%,病歷書寫時間減少75%,醫(yī)生的接診量提高了20%,造福更多病患。

而針對數(shù)據(jù)積累不足,難以承擔(dān)人工精標(biāo)數(shù)據(jù)成本的企業(yè),千帆平臺全新推出模型蒸餾解決方案,幫助企業(yè)利用文心旗艦級大模型生成專業(yè)數(shù)據(jù),完成全流程的數(shù)據(jù)準(zhǔn)備工作,加速啟動模型精調(diào)工作。

以百度電商數(shù)字人直播平臺“慧播星”為例,通過使用文心旗艦?zāi)P虴RNIE 4.0 Turbo萃取訓(xùn)練數(shù)據(jù),生成模型精調(diào)數(shù)據(jù)集,對輕量級大模型ERNIE Lite進行精調(diào),精調(diào)后的模型在特定場景中的效果與旗艦?zāi)P突境制?,并擁有更快的推理速度,成本大幅下?0%。模型上線以后,數(shù)字人直播間的互動率大幅提升11%,帶貨轉(zhuǎn)化率也實現(xiàn)了極大提升。

大算力管理依然是最大難題

百舸4.0升級十萬卡集群跨地域部署能力

大算力是大模型落地的基礎(chǔ)條件。為了滿足企業(yè)落地大模型從集群創(chuàng)建、開發(fā)實驗,到模型訓(xùn)練、模型推理的全旅程算力需求,百度智能云推出百舸AI異構(gòu)計算平臺 4.0,服務(wù)了中國石化、中海石油、長安汽車、上海交通大學(xué)、地平線等行業(yè)龍頭企業(yè)和機構(gòu),目前已具備了成熟的10萬卡集群部署和管理能力。

沈抖表示,為了支撐大模型的進一步高速發(fā)展,百度智能云提前布局,是行業(yè)內(nèi)最早打磨10萬卡集群能力的廠商之一,并通過技術(shù)創(chuàng)新解決了集群算力供給、跨地域部署兩大核心難題。

首先,在算力供給方面,百舸平臺兼容昆侖芯、昇騰、海光DCU、英偉達(dá)、英特爾等國內(nèi)外主流AI芯片,支持同一智算集群中混合使用同一廠商不同代際芯片、不同廠商芯片,最大程度上屏蔽硬件之間差異,幫助中國企業(yè)擺脫單一芯片帶來的高溢價和供應(yīng)鏈風(fēng)險。

目前,在萬卡規(guī)模集群上,百舸能夠?qū)煞N芯片混合訓(xùn)練大模型的效率折損控制在5%以內(nèi),達(dá)到業(yè)界最領(lǐng)先的水平。未來,“一云多芯”將成為中國企業(yè)的必然選擇。

另一方面,10萬卡規(guī)模超大集群需要占據(jù)大概10萬平方米空間,相當(dāng)于13個標(biāo)準(zhǔn)足球場;每天則要消耗大約300萬千瓦時的電力,相當(dāng)于北京市東城區(qū)一天的居民用電量。這種對于空間和能源的巨大需求,遠(yuǎn)超傳統(tǒng)機房部署的承載能力,而跨地域機房部署又會給網(wǎng)絡(luò)通信帶來巨大挑戰(zhàn)。

通過設(shè)計高效的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),結(jié)合模型切分優(yōu)化和跨地域無擁塞高性能網(wǎng)絡(luò)方案,百舸能夠在橫跨幾十公里的多機房組成的萬卡規(guī)模的集群上,將單一模型訓(xùn)練任務(wù)的性能折損控制在4%以內(nèi),達(dá)到業(yè)界最領(lǐng)先水平。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )