HAOMO發(fā)布自動(dòng)駕駛生成式大模型DriveGPT

4月11日消息，在HAOMO AI DAY上，HAOMO發(fā)布業(yè)內(nèi)首個(gè)自動(dòng)駕駛生成式大模型DriveGPT，中文名“雪湖?海若”，毫末智行CEO顧維灝表示，DriveGPT將重塑汽車智能化技術(shù)路線。據(jù)介紹，DriveGPT雪湖?海若首發(fā)車型是新摩卡DHT-PHEV，即將量產(chǎn)上市。

毫末智行董事長(zhǎng)張凱表示：“2023年智駕產(chǎn)品進(jìn)入全線爆發(fā)期，大模型開(kāi)啟在車端的落地應(yīng)用，車主的使用頻率和滿意度成為產(chǎn)品競(jìng)爭(zhēng)力的重要衡量標(biāo)準(zhǔn)?！?/p>

顧維灝介紹，DriveGPT通過(guò)引入駕駛數(shù)據(jù)建立RLHF（人類反饋強(qiáng)化學(xué)習(xí)）技術(shù)，對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化，現(xiàn)階段主要用于解決自動(dòng)駕駛的認(rèn)知決策問(wèn)題，終極目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛。

目前，毫末DriveGPT雪湖?海若實(shí)現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級(jí)，參數(shù)規(guī)模達(dá)到1200億，預(yù)訓(xùn)練階段引入4000萬(wàn)公里量產(chǎn)車駕駛數(shù)據(jù)，RLHF階段引入 5萬(wàn)段人工精選的困難場(chǎng)景接管Clips。

DriveGPT雪湖?海若的底層模型采用GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，與ChatGPT使用自然語(yǔ)言進(jìn)行輸入與輸出不同，DriveGPT輸入是感知融合后的文本序列，輸出是自動(dòng)駕駛場(chǎng)景文本序列，即將自動(dòng)駕駛場(chǎng)景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測(cè)以及決策邏輯鏈的輸出等任務(wù)。

顧維灝進(jìn)一步闡釋，DriveGPT雪湖?海若具有三個(gè)能力：

1. DriveGPT雪湖?海若可以按概率生成很多個(gè)場(chǎng)景序列，每個(gè)場(chǎng)景都是一個(gè)全局的場(chǎng)景，每個(gè)場(chǎng)景序列都是未來(lái)有可能發(fā)生的一種實(shí)際情況；

2.在所有場(chǎng)景序列都產(chǎn)生的情況下，DriveGPT雪湖?海若能把場(chǎng)景中最受關(guān)注的自車行為軌跡量化出來(lái)，也就是生成場(chǎng)景的同時(shí)，會(huì)產(chǎn)生自車未來(lái)的軌跡信息；

3. 有了自車未來(lái)的軌跡信息之后，希望這條軌跡是可解釋的，而GPT模型最擅長(zhǎng)的領(lǐng)域便是對(duì)話和推理，DriveGPT雪湖?海若也很好地繼承了這種特性，在生成場(chǎng)景序列、軌跡的同時(shí)，也會(huì)把整個(gè)決策邏輯鏈給輸出。

顧維灝介紹，毫末在2023年1月發(fā)布的中國(guó)自動(dòng)駕駛行業(yè)最大的智算中心MANA OASIS（雪湖? 綠洲）此次從算力優(yōu)化等層面升級(jí)了三大能力，進(jìn)一步支持DriveGPT雪湖?海若的算力。

首先，毫末與火山引擎全新搭建了“全套大模型訓(xùn)練保障框架”，實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個(gè)月沒(méi)有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性；

其次，毫末研發(fā)出以真實(shí)數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù)，并將其推廣到了大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，自主研發(fā)任務(wù)級(jí)彈性伸縮調(diào)度器，分鐘級(jí)調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%；

最后，MANA OASIS通過(guò)提升數(shù)據(jù)吞吐量來(lái)降本增效，滿足Transformer大模型訓(xùn)練效率，通過(guò)引入火山引擎提供的Lego算子庫(kù)實(shí)現(xiàn)算子融合，端到端吞吐提升84%。

談到DriveGPT雪湖?海若的實(shí)現(xiàn)過(guò)程，顧維灝介紹稱，首先在預(yù)訓(xùn)練階段通過(guò)引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過(guò)引入駕駛接管Clips數(shù)據(jù)完成反饋模型（Reward Model）的訓(xùn)練，然后再通過(guò)強(qiáng)化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對(duì)自動(dòng)駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。

DriveGPT雪湖?海若的一個(gè)關(guān)鍵設(shè)計(jì)，就是場(chǎng)景的Token化表達(dá)，顧維灝把這種方式叫做Drive Language。

同時(shí)，DriveGPT雪湖?海若還會(huì)根據(jù)Drive Language輸入端的提示語(yǔ)以及毫末CSS自動(dòng)駕駛場(chǎng)景庫(kù)的決策樣本去訓(xùn)練模型，讓模型學(xué)習(xí)推理關(guān)系，從而將完整駕駛策略拆分為自動(dòng)駕駛場(chǎng)景的動(dòng)態(tài)識(shí)別過(guò)程，完成可理解、可解釋的推理邏輯鏈生成。

另外，顧維灝提到，DriveGPT雪湖?海若可以逐步應(yīng)用到城市NOH、捷徑推薦、智能陪練以及脫困場(chǎng)景中。有了DriveGPT雪湖?海若的加持，車輛行駛會(huì)更安全；動(dòng)作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動(dòng)作。對(duì)于普通用戶來(lái)說(shuō)，車輛越來(lái)越像老司機(jī)，用戶對(duì)智能產(chǎn)品的信任感會(huì)更強(qiáng)，理解到車輛的行為都是可預(yù)期、可理解的。

當(dāng)前，毫末在使用數(shù)據(jù)過(guò)程中，逐步建立起一套基于4D Clips駕駛場(chǎng)景識(shí)別方案，具備極高性價(jià)比。在行業(yè)上，給出正確的標(biāo)注結(jié)果，一張圖片需要約5元；如果使用DriveGPT雪湖?海若的場(chǎng)景識(shí)別服務(wù)，一張圖片的價(jià)格將下降到0.5元。單幀圖片整體標(biāo)注成本僅相當(dāng)于行業(yè)的1/10。接下來(lái)，毫末會(huì)將圖像幀及4D Clips場(chǎng)景識(shí)別服務(wù)逐步向行業(yè)開(kāi)放使用，這將大幅降低行業(yè)使用數(shù)據(jù)的成本，提高數(shù)據(jù)質(zhì)量，從而加速自動(dòng)駕駛技術(shù)的快速發(fā)展。

目前，毫末DriveGPT雪湖?海若已正式對(duì)外開(kāi)放，開(kāi)啟對(duì)限量首批客戶的合作，北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等已經(jīng)加入。毫末DriveGPT雪湖?海若大模型的成果將首發(fā)落地在搭載毫末HPilot3.0的新摩卡DHT-PHEV上。

顧維灝表示，毫末DriveGPT雪湖?海若將攜手生態(tài)伙伴率先探索四大應(yīng)用能力，包括智能駕駛、駕駛場(chǎng)景識(shí)別、駕駛行為驗(yàn)證、困難場(chǎng)景脫困。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。