豆包視頻生成大模型正式發(fā)布，首次突破多主體互動難關

字節(jié)跳動正式宣告進軍AI視頻生成。9月24日，字節(jié)跳動旗下火山引擎在深圳舉辦AI創(chuàng)新巡展，一舉發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型，面向企業(yè)市場開啟邀測。

活動現(xiàn)場展示的視頻生成效果令人驚嘆。無論是語義理解能力，多個主體運動的復雜交互畫面，還是多鏡頭切換的內(nèi)容一致性，豆包視頻生成大模型均達到業(yè)界先進水平?；鹕揭婵偛米T待表示，“視頻生成有很多難關亟待突破。豆包兩款模型會持續(xù)演進，在解決關鍵問題上探索更多可能性，加速拓展AI視頻的創(chuàng)作空間和應用落地?！?/p>

火山引擎總裁譚待發(fā)布豆包視頻生成模型

創(chuàng)新技術，破解多主體互動和一致性難題

此前視頻生成模型大多只能完成簡單指令，豆包視頻生成模型則能實現(xiàn)自然連貫的多拍動作與多主體復雜交互。有創(chuàng)作者在搶鮮體驗豆包視頻生成模型時發(fā)現(xiàn)，其生成的視頻不僅能夠遵循復雜指令，讓不同人物完成多個動作指令的互動，人物樣貌、服裝細節(jié)甚至頭飾在不同運鏡下也保持一致，接近實拍效果。

據(jù)火山引擎介紹，豆包視頻生成模型基于 DiT 架構，通過高效的DiT融合計算單元，讓視頻在大動態(tài)與運鏡中自由切換，擁有變焦、環(huán)繞、平搖、縮放、目標跟隨等多鏡頭語言能力。全新設計的擴散模型訓練方法更是攻克了多鏡頭切換的一致性難題，在鏡頭切換時可同時保持主體、風格、氛圍的一致性，這也是豆包視頻生成模型獨樹一幟的技術創(chuàng)新。

經(jīng)過剪映、即夢AI等業(yè)務場景打磨和持續(xù)迭代，豆包視頻生成模型具備專業(yè)級光影布局和色彩調(diào)和，畫面視覺極具美感和真實感。深度優(yōu)化的Transformer結構，則大幅提升了豆包視頻生成的泛化能力，支持3D動畫、2D動畫、國畫、黑白、厚涂等多種風格，適配電影、電視、電腦、手機等各種設備的比例，不僅適用于電商營銷、動畫教育、城市文旅、微劇本等企業(yè)場景，也能為專業(yè)創(chuàng)作者和藝術家們提供創(chuàng)作輔助。

目前，新款豆包視頻生成模型正在即夢AI內(nèi)測版小范圍測試，未來將逐步開放給所有用戶。剪映和即夢AI市場負責人陳欣然認為，AI能夠和創(chuàng)作者深度互動，共同創(chuàng)作，帶來很多驚喜和啟發(fā)，即夢AI希望成為用戶最親密和有智慧的創(chuàng)作伙伴。

豆包大模型推出業(yè)界最高并發(fā)流量標準

此次活動中，豆包大模型不僅新增視頻生成模型，還發(fā)布了豆包音樂模型和同聲傳譯模型，已全面覆蓋語言、語音、圖像、視頻等全模態(tài)，全方位滿足不同行業(yè)和領域的業(yè)務場景需求。

在產(chǎn)品能力日益完善的同時，豆包大模型的使用量也在極速增長。據(jù)火山引擎披露，截至9月，豆包語言模型的日均tokens使用量超過1.3萬億，相比5月首次發(fā)布時猛增十倍，多模態(tài)數(shù)據(jù)處理量也分別達到每天5000萬張圖片和85萬小時語音。

此前，豆包大模型公布低于行業(yè)99%的定價，引領國內(nèi)大模型開啟降價潮。譚待認為，大模型價格已不再是阻礙創(chuàng)新的門檻，隨著企業(yè)大規(guī)模應用，大模型支持更大的并發(fā)流量正在成為行業(yè)發(fā)展的關鍵因素。

據(jù)譚待介紹，業(yè)內(nèi)多家大模型目前最高僅支持300K甚至100K的TPM（每分鐘token數(shù)），難以承載企業(yè)生產(chǎn)環(huán)境流量。例如某科研機構的文獻翻譯場景，TPM峰值為360K，某汽車智能座艙的TPM峰值為420K，某AI教育公司的TPM峰值更是達到630K。為此，豆包大模型默認支持800K的初始TPM，遠超行業(yè)平均水平，客戶還可根據(jù)需求靈活擴容。

“在我們努力下，大模型的應用成本已經(jīng)得到很好解決。大模型要從卷價格走向卷性能，卷更好的模型能力和服務?！弊T待表示。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。