3月21日消息,2023年,大模型在全球范圍爆發(fā)式增長,經(jīng)過一年的狂飆突進似發(fā)展后,業(yè)內(nèi)普遍認為2024年是大模型應(yīng)用落地元年。讓企業(yè)客戶愿意、能夠、有效的應(yīng)用大模型能力,成為大模型企業(yè)思考的重點。
自2023年12月以來百度智能云千帆大模型平臺服務(wù)8萬企業(yè)用戶,累計幫助用戶精調(diào)1.3萬個大模型,幫助用戶開發(fā)出16萬個大模型應(yīng)用。在這份成績的背后,百度智能云對服務(wù)企業(yè)落地大模型了也有了一套心法。
百度副總裁謝廣軍在接受媒體采訪時表示,2024年AI原生應(yīng)用會加速落地,企業(yè)從探索場景逐步走到落地應(yīng)用,這個時候會遇到模型性能、效果,以及在成本多方面的挑戰(zhàn)。綜合考量“大模型的使用效果、性能以及成本”即“效價比”,成為企業(yè)落地大模型的核心訴求。
百度副總裁謝廣軍
針對企業(yè)最關(guān)心的大模型落地場景、使用成本、應(yīng)用開發(fā)、應(yīng)用效果四大挑戰(zhàn),百度智能云千帆在大模型ModelBuilder、AI原生應(yīng)用開發(fā)工具組件AppBuilder兩個方面給出了最新“解題思路”。
一方面,為滿足企業(yè)“效價比”核心訴求,百度千帆ModelBuilder大模型服務(wù)全面升級,全新發(fā)布3個輕量級大模型、2個垂直場景大模型。
另一方面,百度智能云對千帆AppBuilder組件能力全面升級,開放工具組件增至55個,進一步大幅降低AI原生應(yīng)用開發(fā)門檻。
通過這兩條腿齊發(fā)力,以期加速大模型在企業(yè)業(yè)務(wù)中的應(yīng)用落地。
上新5款大模型 最高推理調(diào)用成本下降53%
謝廣軍表示,當(dāng)前業(yè)界已逐漸形成一個共識,即模型不見得是參數(shù)規(guī)模越大越好。在很多實際的場景當(dāng)中,用小尺寸的專家模型也能夠達到通用大模型的效果,小尺寸專家模型的推理成本會更低,更便宜。大模型“效價比”才是企業(yè)核心訴求。
基于這樣的研究方向,百度智能云推出了三款輕量級大模型。
ERNIE Speed作為三款輕量級大模型中的“大個子”,推理場景下?lián)碛凶罡?28k的上下文長度,在處理知識問答等任務(wù)時,能夠更好的處理上下文的依賴關(guān)系,生成更加連貫和準確的預(yù)測或回答。同時,針對特定場景可以將ERNIE Speed作為基座模型進行精調(diào),模型效果可以追平甚至超過旗艦級大參數(shù)規(guī)模大模型,效價比大幅提升。
ERNIE Lite,其參數(shù)量相比ERNIE Speed更小,也更加適合搭載在低算力的AI加速卡上處理推理任務(wù),在兼顧模型效果與推理性能的同時,大幅降低客戶落地應(yīng)用成本。作為ERNIE-Bot-turbo模型的升級版,ERNIE Lite在情感分析、多任務(wù)學(xué)習(xí)、自然推理等場景下的應(yīng)用效果提升了20%。推理調(diào)用成本大幅下降了53%。
ERNIE Tiny,三款輕量級模型中參數(shù)量最小的大模型,為客戶提供了極致低成本、低延遲的最佳選擇。在檢索、推薦、意圖識別等高并發(fā)、低延時等應(yīng)用場景中,ERNIE Tiny的優(yōu)異性能呈現(xiàn)了不俗表現(xiàn)。在某對話推薦業(yè)務(wù)場景中,精調(diào)后的ERNIE Tiny在搜索引擎推薦詞激發(fā)環(huán)節(jié),相比ERNIE 3.5,對話輪次增長了3.5%,成本下降了32%。
此外,企業(yè)在落地應(yīng)用中,對大模型在人物扮演、外部工具調(diào)用均有更高的效果要求。本次千帆大模型平臺ModelBuilder還基于對企業(yè)場景的深入洞察,結(jié)合百度自身業(yè)務(wù)最佳實踐沉淀,推出了ERNIE Character和ERNIE Functions兩款垂直場景大模型,分別適配客戶在角色扮演類應(yīng)用場景(如游戲NPC、客服對話等)和工具調(diào)用場景(對話中使用外部工具、調(diào)用業(yè)務(wù)函數(shù)等)中的使用需求。
謝廣軍介紹,在企業(yè)實踐中,某智能硬件廠商,基于ERNIE Character打造智能助理,應(yīng)用該模型后在人設(shè)一致性、激發(fā)并提升用戶聊天欲望等方面效果顯著提升。某旅游出行類APP,使用ERNIE Functions打造智能客服助手,在執(zhí)行訂票、查詢航班狀態(tài)等多種function調(diào)用上準確性達到85%。
謝廣軍強調(diào),新發(fā)布的三款輕量級模型主要有兩個使用場景:一是客戶、合作伙伴會結(jié)合自己的數(shù)據(jù)做垂類場景模型。一是百度也會基于這些小的基座模型,去開發(fā)一些行業(yè)垂類場景模型,比如做教育行業(yè)的教輔答題和解題等。
向量數(shù)據(jù)庫VDB 1.0亮相 開放工具組件達55個
千帆AppBuilder作為產(chǎn)業(yè)級AI原生應(yīng)用開發(fā)平臺,是千帆的重要組成部分。
此次升級后的AppBuilder開放的工具組件多達55個。包括基于百度多年技術(shù)積累和自有業(yè)務(wù)沉淀的大模型組件、AI能力組件,也包括搜索等百度特色的業(yè)務(wù)組件、和多場景的第三方API工具,另外還提供了 RAG(知識檢索問答)、GBI(生成式數(shù)據(jù)分析)等根據(jù)典型應(yīng)用場景深入調(diào)優(yōu)的高級能力組件。
開發(fā)完成后,應(yīng)用可多渠道分發(fā)與集成,AppBuilder支持將應(yīng)用一鍵分發(fā)到微信客服、微信公眾號、Web端/H5及百度靈境矩陣等主流渠道。基于百度靈境矩陣,應(yīng)用可在百度搜索、百度信息流等主流場景分發(fā)與掛載。真正實現(xiàn)應(yīng)用開發(fā)出來后,就直接觸達用戶,打通從AI原生應(yīng)用創(chuàng)建到開發(fā)再到分發(fā)的全流程。
開發(fā)AI原生應(yīng)用離不開云基礎(chǔ)設(shè)施,值得一提的是,本次發(fā)布的基礎(chǔ)組件還包括了百度智能云全新推出的向量數(shù)據(jù)庫VDB 1.0。
謝廣軍表示,大模型火了之后,向量數(shù)據(jù)庫重要性凸顯,它可以幫助減輕幻覺、解決數(shù)據(jù)數(shù)據(jù)更新等問題,也是加速大模型在場景落地的關(guān)鍵技術(shù)。
百度向量數(shù)據(jù)庫VDB1.0既是一項獨立存在的產(chǎn)品和服務(wù),是百度智能云的一項基礎(chǔ)設(shè)施,也是作為一項基礎(chǔ)云的組件和能力封裝到了千帆AppBuilder里面。
謝廣軍強調(diào):“當(dāng)前大模型落地過程中,向量數(shù)據(jù)庫應(yīng)用成本相對較高,企業(yè)在千帆AppBuilder中組件化利用向量數(shù)據(jù)庫的能力,是一個性價比兼具的方案,相比同類開源產(chǎn)品,VDB 1.0性能最高提升10倍,相比付費產(chǎn)品,則更省成本?!?/p>
模型路由,讓成本再降15%
會上,謝廣軍還透露了百度智能云的模型路由服務(wù)。百度智能云的模型路由是以降本為目的來做MOE。
謝廣軍表示,模型路由能夠幫助客戶在使用場景中,根據(jù)不同情況選擇不同的能力模型。小模型往往比較擅長垂類場景,但在實際使用過程中,這種場景會非常多,十分泛化,模型路由通過分流,讓在某一垂類問題上更專業(yè)的專家模型來回答,專業(yè)的模型解答專業(yè)的問題。相比旗艦?zāi)P突蛘吒蟪叽绲哪P?,小尺寸模型也能達到同樣甚至趕超的效果,提升性能的同時降成本。如果都不能回答,就讓大尺寸的模型或者旗艦?zāi)P蛠怼岸档住薄?/p>
據(jù)介紹,通過百度智能云的模型路由方案,有企業(yè)客戶的模型推理成本降低15%。
謝廣軍稱:“當(dāng)前,ModelRouter已啟動邀測,一些手機廠商客戶在應(yīng)用過程中已經(jīng)感受到成本的下降,保證業(yè)務(wù)效果不降的情況下,將簡單的Query調(diào)度到更輕量級的模型上,使得綜合成本下降?!保ü啵?/p>
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- AI全面賦能人車家全生態(tài) 小米澎湃OS 2正式發(fā)布
- 蜂巢科技與寶視達簽訂戰(zhàn)略合作,以智能眼鏡開拓眼鏡消費新增量
- TechWeb微晚報:張一鳴身家達3500億元成中國首富,iPhone 16在印尼遭禁售
- 小鵬汽車們憑什么能不講武德?周鴻祎與何小鵬激辯AI時代如何創(chuàng)新
- 消息稱華為Mate 70系列11月上市 部分零部件投產(chǎn)數(shù)量增50%
- 從上班族到月銷60萬店主 夢餉科技助力普通人開辟職業(yè)發(fā)展新曲線
- 消息稱菜鳥全面接入京東第三方平臺 雙方已基本完成對接
- 靠“收割”司機扭虧為盈?貨拉拉四戰(zhàn)IPO,估值較去年縮水250億元
- 2024年Q3學(xué)習(xí)平板銷量同比增長38% 作業(yè)幫學(xué)習(xí)機銷量增速均第一
- 2024胡潤百富榜:張一鳴3500億元身家成中國首富 宗馥莉成女首富
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。