更低成本、更優(yōu)效果，也就是“降本增效”，是所有廣告投放追求的目標(biāo)。廣告技術(shù)的發(fā)展正讓“降本增效”越來越具體、越來越可以量化和感知，比如目前互聯(lián)網(wǎng)廣告平臺(tái)開始以GMV（成交金額）或ROI（投入產(chǎn)出比）為營銷效果的評估標(biāo)準(zhǔn)。
一次更高效的廣告投放，本質(zhì)上是在合適的場景，讓對的廣告出現(xiàn)在對的人面前。這離不開廣告平臺(tái)對廣告內(nèi)容和用戶群體的深刻理解，并在他們之間達(dá)成更準(zhǔn)確的匹配。
騰訊廣告已經(jīng)為此交出了一份答卷：首先，以國際領(lǐng)先的混元AI大模型助力系統(tǒng)深刻理解廣告內(nèi)容，其次以精排大模型提升廣告和用戶的匹配準(zhǔn)確率。此外，這兩者的底層都離不開一個(gè)業(yè)內(nèi)領(lǐng)先的機(jī)器學(xué)習(xí)平臺(tái)——太極。
混元 AI 大模型——讓系統(tǒng)深度理解廣告內(nèi)容
在近10年的AI研究中，工程師和科學(xué)家們越來越達(dá)成一個(gè)共識(shí)：越大的模型才能有越高的理解能力。
早期的深度學(xué)習(xí)模型大約有六千萬參數(shù)，大約230MB大小，能夠把日常物體分成一千個(gè)類別；今年火熱的繪畫AI“DALL-E2”則已經(jīng)有大約70億參數(shù)，大約26GB大小，輸入一句描述句子就能畫出一張對應(yīng)的畫，內(nèi)容準(zhǔn)確、視覺效果優(yōu)美，體現(xiàn)出頂級(jí)的文本和圖像理解水平。
大模型成為了一個(gè)重要的技術(shù)演進(jìn)方向，而這正是廣告推薦所需要的核心能力。
廣告中既有藝術(shù)和創(chuàng)意，也有感情和期待，推薦系統(tǒng)要首先能夠理解廣告中蘊(yùn)含的豐富信息，才能做出恰當(dāng)?shù)耐扑]。騰訊自研的深度學(xué)習(xí)大模型——騰訊廣告混元AI大模型就是廣告系統(tǒng)理解內(nèi)容的核心引擎。
騰訊廣告混元AI大模型，是一個(gè)具有千億參數(shù)的大模型，能夠準(zhǔn)確理解文字和圖像中蘊(yùn)含的各個(gè)層面的信息；它甚至可以把文字、圖像、視頻作為一個(gè)整體來理解，這樣不僅對廣告的理解更準(zhǔn)確，也更符合平臺(tái)用戶對廣告的整體感受。
騰訊廣告混元 AI 大模型和類似的圖文理解模型做過全面的正面對比，目前橫掃跨模態(tài)檢索領(lǐng)域5大權(quán)威測評集大滿貫、多模態(tài)理解領(lǐng)域國際權(quán)威榜單VCR上排名第一、CLUE自然語言理解分類榜及CLUE總榜登頂，比大部分模型的圖文綜合理解能力還要強(qiáng)，是國內(nèi)當(dāng)之無愧的多模態(tài)、跨模態(tài)AI大模型。
混元AI大模型的多模態(tài)理解能力，可以有效的加深推薦系統(tǒng)對于廣告的理解，從而更精準(zhǔn)的將廣告推薦給合適的人群，提高用戶體驗(yàn)以及廣告轉(zhuǎn)化效果。
除了理解已有的廣告內(nèi)容，混元AI大模型還有文字&圖像&視頻綜合生成能力，已經(jīng)以產(chǎn)品的形式在騰訊廣告投放平臺(tái)提供給每一位廣告主，可以極大的提升廣告制作的效率。
1、“圖生視頻”功能，可以將靜態(tài)的圖片自動(dòng)生成不同樣式的視頻廣告；
2、“文案助手”功能，可以為廣告自動(dòng)生成更恰當(dāng)?shù)臉?biāo)題，提升廣告的效果；
3、“文生視頻”功能，未來只需要提供一句廣告文案，就可以自動(dòng)生成與之匹配的視頻廣告。
精排大模型——讓系統(tǒng)更高效匹配廣告和人群
在理解廣告之后，廣告平臺(tái)還面臨一個(gè)挑戰(zhàn)：把廣告展示給合適的人群。模型在解決這一挑戰(zhàn)中發(fā)揮了核心作用，特別是精排模型。
廣告平臺(tái)上有數(shù)以萬計(jì)的廣告主和數(shù)以億計(jì)的用戶，即便經(jīng)過廣告定向的篩選，匹配一次用戶請求的廣告仍然可能有成千上萬，具體向用戶展示哪一個(gè)或者哪幾個(gè)廣告才能在盡量符合用戶偏好的同時(shí)為廣告主帶來最大的收入，這就是一個(gè)極為復(fù)雜的多對多匹配問題，需要精細(xì)的預(yù)估和排序。
騰訊廣告精排大模型就是為了解決這個(gè)難題而設(shè)計(jì)的。單模型推理參數(shù)達(dá)千億級(jí)別，序列化后大小可達(dá)數(shù)百GB，浮點(diǎn)數(shù)計(jì)算量最高每秒超過10億次，在行業(yè)位于先進(jìn)水平。
如此大的模型，最明顯的收益是可以利用更多的特征和樣本數(shù)據(jù)，學(xué)習(xí)得到更強(qiáng)大更精確的模型，進(jìn)而實(shí)現(xiàn)更高效的匹配，比如：
1、可以基于更長期、更細(xì)致的人群數(shù)據(jù)，在合規(guī)前提下強(qiáng)化用戶洞察，對人群的理解更清晰準(zhǔn)確；
2、可以基于更多場景、頁面、上下文信息，在跨場景聯(lián)合建模的同時(shí)強(qiáng)化場景差異性表達(dá)，降低維護(hù)成本，提升用戶廣告體驗(yàn)；
3、可以基于更長期的樣本數(shù)據(jù)，配合恰當(dāng)?shù)哪Ｐ徒Y(jié)構(gòu)和學(xué)習(xí)算法，平衡不同行業(yè)不同稀疏程度廣告主投放目標(biāo)的學(xué)習(xí)，提升投放效果；
4、可以更好地基于混元AI大模型在廣告理解層面得到的豐富信息，實(shí)現(xiàn)更好的泛化和廣告冷啟動(dòng)。
騰訊廣告精排大模型各項(xiàng)算法指標(biāo)相對于百億規(guī)模小模型有顯著提升，全流量上線后，用戶可以看到更符合自己興趣的廣告，廣告主也可以期待有更高的投放回報(bào)。相比以前的小模型算法，騰訊廣告精排大模型已累計(jì)給廣告主帶來15%的GMV提升。
精排大模型迄今為止的效果提升還只是一個(gè)開始，大模型平臺(tái)系統(tǒng)和模型算法會(huì)持續(xù)升級(jí)，與此同時(shí)，大模型能力也會(huì)逐步向召回、粗排等其他環(huán)節(jié)輻射，不斷抬高效果的天花板，為用戶和廣告主提供更佳的廣告體驗(yàn)。
在實(shí)現(xiàn)高效廣告匹配的同時(shí)，騰訊廣告也是隱私保護(hù)的技術(shù)探索者和實(shí)踐者。早在2019年，騰訊廣告便獲得ISO/IEC 27001和ISO/IEC 29151兩項(xiàng)國際認(rèn)證，在信息安全和隱私保護(hù)能力與國際主流標(biāo)準(zhǔn)全面接軌。此外，騰訊廣告也在聯(lián)邦學(xué)習(xí)等隱私計(jì)算技術(shù)持續(xù)深耕，助力廣告程序化交易聯(lián)合建模，在保障雙方的數(shù)據(jù)安全前提下實(shí)現(xiàn)合作。
“太極”助力，騰訊廣告如何借大模型降本增效？太極機(jī)器學(xué)習(xí)平臺(tái)——支持TB級(jí)大模型順利運(yùn)轉(zhuǎn)
騰訊廣告平臺(tái)需要為億級(jí)的用戶、海量并不停增加的廣告內(nèi)容提供服務(wù)。大模型+高訪問壓力，對廣告平臺(tái)的承載能力和計(jì)算能力都提出了很高的要求。實(shí)際上騰訊廣告精排大模型的要求尤其苛刻，不僅模型大小是業(yè)界頂級(jí)，還需要在用戶等待頁面加載的極短時(shí)間內(nèi)就完成廣告匹配。
為了滿足這些規(guī)模和性能要求，騰訊專門自研搭建了業(yè)界一流的太極機(jī)器學(xué)習(xí)平臺(tái)，可支持10TB級(jí)模型訓(xùn)練、TB級(jí)模型推理和分鐘級(jí)模型發(fā)布上線，擴(kuò)展集群規(guī)模則可支持更大的模型訓(xùn)練和推理，為實(shí)際業(yè)務(wù)提供大模型的情況下，同時(shí)具有很高的性能，達(dá)到行業(yè)領(lǐng)先水平。
太極機(jī)器學(xué)習(xí)平臺(tái)采用了分布式參數(shù)服務(wù)器架構(gòu)，這是業(yè)界第一梯隊(duì)企業(yè)們公認(rèn)的最佳選擇。這種架構(gòu)的特點(diǎn)是，存儲(chǔ)模型參數(shù)和執(zhí)行模型計(jì)算，這兩種任務(wù)在分別的服務(wù)器上運(yùn)行，增加更多服務(wù)器就可以支持更大、計(jì)算需求更高的模型。太極機(jī)器學(xué)習(xí)平臺(tái)中的參數(shù)服務(wù)器系統(tǒng)AngelPS也是騰訊自研的成果，現(xiàn)在不僅可以承載10TB級(jí)模型的訓(xùn)練，對多維特征融合、復(fù)雜模型結(jié)構(gòu)等更高級(jí)、更前瞻性的功能也有優(yōu)秀支持。
同時(shí)太極機(jī)器學(xué)習(xí)平臺(tái)還具備超大模型在線推理服務(wù)的能力。推理計(jì)算方面，不僅支持常規(guī)的CPU計(jì)算，還支持復(fù)雜模型的GPU計(jì)算加速；存儲(chǔ)上，根據(jù)在線推理模型大小，自適應(yīng)選擇小模型本地內(nèi)存加載和大模型AngelPS遠(yuǎn)程查詢的部署策略；在線服務(wù)運(yùn)營上，平臺(tái)具備多級(jí)容災(zāi)能力，臟模型秒級(jí)回滾能力，以及完備的系統(tǒng)和業(yè)務(wù)運(yùn)行實(shí)時(shí)指標(biāo)監(jiān)控和報(bào)警系統(tǒng)。
目前，千億參數(shù)、TB規(guī)模訓(xùn)練，百 GB 規(guī)模預(yù)測的騰訊廣告精排大模型能短時(shí)間內(nèi)在太極上完成計(jì)算、提供可靠的廣告匹配結(jié)果。不僅如此，為了提供周全的可靠性、緊跟潮流的匹配能力，上百GB規(guī)模的騰訊廣告精排大模型需要有多個(gè)副本同時(shí)運(yùn)行，每天還需要根據(jù)當(dāng)天的真實(shí)用戶行為持續(xù)學(xué)習(xí)，這些都依賴太極機(jī)器平臺(tái)強(qiáng)大的承載能力和周全的功能。
太極機(jī)器學(xué)習(xí)平臺(tái)有突出的模型訓(xùn)練硬件加速能力。以混元AI大模型的訓(xùn)練為例，太極的加速方案高于業(yè)界其他方案 3.7倍，有效提升了模型的訓(xùn)練效率。
為了讓開發(fā)者易學(xué)、易用，太極機(jī)器學(xué)習(xí)平臺(tái)也提供了對常見的 TensorFlow 模型和 API 的支持，同時(shí)還提供了多種改進(jìn)，降低 TF 中復(fù)雜的性能優(yōu)化、內(nèi)存管理帶來的困擾。
可以把太極機(jī)器學(xué)習(xí)平臺(tái)比作一條多車道的高速公路，大模型就像許許多多的重型卡車，可以在高速公路上高速行駛；相比之下，較落后的技術(shù)平臺(tái)就像是鄉(xiāng)間的泥濘小道，只通行一輛小車也顛簸、緩慢。兩者能提供的服務(wù)以及最終帶來的用戶體驗(yàn)顯然也不能同日而語，而當(dāng)前具備領(lǐng)先地位的太極機(jī)器學(xué)習(xí)平臺(tái)，毫無疑問能夠幫助提供更好的基建體系，助力大模型們高速運(yùn)行。
打贏大模型關(guān)鍵第一仗，騰訊廣告持續(xù)深化技術(shù)升級(jí)
在騰訊太極機(jī)器學(xué)習(xí)平臺(tái)之上，混元AI大模型和騰訊廣告精排大模型共同完善優(yōu)化了廣告理解、用戶理解、廣告和用戶匹配的整個(gè)流程，提升對廣告的理解，提升廣告和人群的匹配效率，提升廣告主的推薦精準(zhǔn)度和轉(zhuǎn)化效率。在“降本增效”的目標(biāo)指引下，關(guān)注并提升GMV的騰訊廣告平臺(tái)技術(shù)已經(jīng)打贏了大模型關(guān)鍵戰(zhàn)役的第一仗。未來騰訊廣告也將不斷基于此優(yōu)化模型，幫助廣告主達(dá)成更高GMV。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
