本文源于：長(zhǎng)安汽車智能化研究院
業(yè)務(wù)場(chǎng)景介紹
1.公司簡(jiǎn)介：長(zhǎng)安汽車，全稱“重慶長(zhǎng)安汽車股份有限公司”，是中國(guó)領(lǐng)先的汽車制造商之一，以廣泛的產(chǎn)品線和創(chuàng)新技術(shù)而聞名。長(zhǎng)安汽車不僅提供多種乘用車和商用車，還在智能網(wǎng)聯(lián)汽車技術(shù)方面處于行業(yè)前沿，特別是在車聯(lián)網(wǎng)平臺(tái)的開(kāi)發(fā)上。
車聯(lián)網(wǎng)平臺(tái)是長(zhǎng)安汽車智能化戰(zhàn)略的核心組成部分，該平臺(tái)利用云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術(shù)，實(shí)現(xiàn)車輛與外部環(huán)境、其他車輛以及交通基礎(chǔ)設(shè)施的互聯(lián)互通。其核心平臺(tái)VOT實(shí)現(xiàn)了千萬(wàn)級(jí)車輛實(shí)時(shí)在線、毫秒級(jí)通訊互聯(lián)、完整的生態(tài)接入能力，并在此基礎(chǔ)上提供實(shí)時(shí)數(shù)據(jù)采集、海量數(shù)據(jù)分析計(jì)算、實(shí)時(shí)預(yù)警車輛故障、保證車輛安全駕駛等功能，顯著提升了用戶的用車體驗(yàn)。
2.業(yè)務(wù)全景介紹：長(zhǎng)安汽車智能化研究院承擔(dān)了長(zhǎng)安汽車智能化轉(zhuǎn)型的重要角色，其車聯(lián)網(wǎng)平臺(tái)是公司智能化戰(zhàn)略的重要組成部分，該平臺(tái)借助大數(shù)據(jù)、云計(jì)算和人工智能等先進(jìn)的數(shù)字技術(shù)，為消費(fèi)者提供更安全、更舒適、更便捷的智能駕駛體驗(yàn)。主要包含的業(yè)務(wù)如下:
車聯(lián)網(wǎng)核心平臺(tái)VOT：公司基于超大規(guī)模云原生架構(gòu)下設(shè)計(jì)的車云核心服務(wù)，業(yè)務(wù)涵蓋車輛遠(yuǎn)控、車況、事件通訊、服務(wù)編排、規(guī)則引擎等核心能力，通過(guò)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫(kù)IoTDB實(shí)現(xiàn)了千萬(wàn)級(jí)的車輛穩(wěn)定接入、千萬(wàn)點(diǎn)每秒的數(shù)據(jù)并發(fā)處理以及超高的終端接入兼容性，是長(zhǎng)安汽車所有車輛的云上大腦。
數(shù)據(jù)分析平臺(tái)：公司基于Apache Doris升級(jí)了車聯(lián)網(wǎng)數(shù)據(jù)分析平臺(tái)，支持單日百億級(jí)別數(shù)據(jù)的實(shí)時(shí)處理，并能實(shí)現(xiàn)十億級(jí)別數(shù)據(jù)查詢的秒級(jí)響應(yīng)。該平臺(tái)為長(zhǎng)安汽車在提升用戶用車體驗(yàn)、實(shí)時(shí)預(yù)警車輛故障、保證車輛安全駕駛等方面帶來(lái)顯著成果。
云器Lakehouse大數(shù)據(jù)平臺(tái)：公司建設(shè)了基于云器Lakehouse的車聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)，面對(duì)超大規(guī)模數(shù)據(jù)量和業(yè)務(wù)的飛速發(fā)展，解決了成本高、用數(shù)難、運(yùn)維煩等挑戰(zhàn)。
車聯(lián)網(wǎng)業(yè)務(wù)整體架構(gòu)圖
3.平臺(tái)時(shí)序數(shù)據(jù)管理能力建設(shè)：伴隨著長(zhǎng)安汽車旗下主要品牌(包括阿維塔、深藍(lán)、啟源等)的迅猛擴(kuò)張以及智能網(wǎng)聯(lián)汽車的數(shù)量呈指數(shù)級(jí)增長(zhǎng)，車聯(lián)網(wǎng)平臺(tái)迎來(lái)了前所未有的壓力。這種增長(zhǎng)不僅給車聯(lián)網(wǎng)平臺(tái)帶來(lái)了數(shù)據(jù)并發(fā)處理的挑戰(zhàn)，也導(dǎo)致了平臺(tái)海量數(shù)據(jù)處理成本的上升、效率的下降以及實(shí)時(shí)和歷史數(shù)據(jù)存儲(chǔ)費(fèi)用的增加。
具體來(lái)看，車況信息作為眾多車輛數(shù)據(jù)中的核心數(shù)據(jù)，海量的連接數(shù)量導(dǎo)致數(shù)據(jù)上報(bào)量也呈指數(shù)級(jí)增長(zhǎng)。在當(dāng)前的日活躍用戶數(shù)下，每日實(shí)時(shí)上行的車況數(shù)據(jù)量已達(dá)到驚人的200T。
IoTDB作為長(zhǎng)安汽車車聯(lián)網(wǎng)平臺(tái)的核心數(shù)據(jù)存儲(chǔ)引擎，扮演著至關(guān)重要的角色，不僅支持高并發(fā)的讀寫操作，還負(fù)責(zé)歷史數(shù)據(jù)的長(zhǎng)期存儲(chǔ)。
業(yè)務(wù)需求痛點(diǎn)
1.海量并發(fā)寫入性能低。當(dāng)前，在長(zhǎng)安汽車閑時(shí)活躍用戶量約200萬(wàn)的情況下，車聯(lián)網(wǎng)平臺(tái)實(shí)時(shí)上傳的車況數(shù)據(jù)并發(fā)量已經(jīng)穩(wěn)定在數(shù)十萬(wàn)級(jí)別。由于不同車型導(dǎo)致的車況模板信息需求差異，動(dòng)態(tài)存儲(chǔ)成為了一個(gè)迫切需要解決的問(wèn)題。
同時(shí)，相比傳統(tǒng)汽車，智能汽車領(lǐng)域單個(gè)智能汽車的數(shù)據(jù)交互量呈現(xiàn)出數(shù)十倍的增長(zhǎng)。以長(zhǎng)安汽車近千萬(wàn)的日活躍用戶量計(jì)算，長(zhǎng)安汽車車聯(lián)網(wǎng)平臺(tái)長(zhǎng)期承受著每秒超過(guò)50萬(wàn)次的數(shù)據(jù)傳輸壓力。如此海量數(shù)據(jù)壓力下，傳統(tǒng)數(shù)據(jù)庫(kù)面臨著服務(wù)器資源高負(fù)載和寫入性能的雙重挑戰(zhàn)。
2.存儲(chǔ)與查詢靈活性差。在面對(duì)這些挑戰(zhàn)時(shí)，長(zhǎng)安汽車現(xiàn)有車況數(shù)據(jù)存儲(chǔ)引擎HBase表現(xiàn)出明顯的劣勢(shì)：原數(shù)據(jù)存儲(chǔ)引擎數(shù)據(jù)模型基于行鍵、列族和時(shí)間戳，所有的數(shù)據(jù)訪問(wèn)模式都必須圍繞該模型設(shè)計(jì)。若數(shù)據(jù)訪問(wèn)模式與 HBase 的數(shù)據(jù)模型不匹配，可能會(huì)導(dǎo)致查詢效率降低。
而且，HBase 不支持像傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)般的聯(lián)結(jié)操作和復(fù)雜的事務(wù)處理。因此在需要進(jìn)行復(fù)雜查詢的應(yīng)用場(chǎng)景中，HBase 可能并不是最佳選擇。
此外，HBase 的查詢通常涉及全表掃描，這在大型表中會(huì)消耗大量資源和時(shí)間。盡管這一問(wèn)題可以通過(guò)使用過(guò)濾器來(lái)減少掃描的數(shù)據(jù)量，但仍然是一個(gè)需要考慮的性能瓶頸。
3.歷史數(shù)據(jù)存儲(chǔ)成本高。HBase 作為一種基于列的存儲(chǔ)解決方案，雖然適合存儲(chǔ)稀疏數(shù)據(jù)，但在處理高頻更新和小批量隨機(jī)讀寫操作時(shí)效率并不理想。同時(shí)，盡管 HBase 支持 GZIP、Snappy 等多種壓縮算法以有效減少存儲(chǔ)空間占用，但這些操作可能會(huì)增加 CPU 使用率，并降低數(shù)據(jù)的讀寫性能，從而無(wú)法滿足大數(shù)據(jù)量下數(shù)據(jù)實(shí)時(shí)處理的需求。
4.中心計(jì)算資源緊張。長(zhǎng)安汽車原有的車況數(shù)據(jù)架構(gòu)基于純?cè)贫说?HBase 存儲(chǔ)，強(qiáng)烈依賴于 Hadoop 生態(tài)計(jì)算架構(gòu)，這種計(jì)算架構(gòu)并非輕量級(jí)，其所有計(jì)算成本都緊密圍繞著建立的生態(tài)系統(tǒng)。這種依賴性，對(duì)云核心的負(fù)載造成了極大壓力。
此外，HBase 基于單個(gè)主節(jié)點(diǎn)的集群架構(gòu)，在面臨故障時(shí)雖然可以繼續(xù)連接其他區(qū)域(region)，但主節(jié)點(diǎn)的恢復(fù)時(shí)間較長(zhǎng)，從而導(dǎo)致計(jì)算鏈路性能下降，這也意味著所有計(jì)算壓力都集中在云端，單就HBase而言其復(fù)雜的架構(gòu)難以在邊緣節(jié)點(diǎn)上部署。
選型 IoTDB 原因
1.支持動(dòng)態(tài)模板的海量并發(fā)處理能力。IoTDB基于時(shí)間序列的存儲(chǔ)結(jié)構(gòu)優(yōu)化與Hbase針對(duì)基于時(shí)間序列的固定模板不同，IoTDB的元數(shù)據(jù)模板支持動(dòng)態(tài)的增刪改查，并在此基礎(chǔ)上實(shí)現(xiàn)了物理量元數(shù)據(jù)共享，優(yōu)化了存儲(chǔ)及使用成本。
IoTDB也支持高并發(fā)連接，單臺(tái)服務(wù)器可以處理數(shù)萬(wàn)次并發(fā)連接/秒，具備高寫入吞吐的特點(diǎn);單核處理寫入請(qǐng)求可以達(dá)到數(shù)萬(wàn)次/秒，單臺(tái)服務(wù)器的寫入性能可以達(dá)到數(shù)千萬(wàn)點(diǎn)/秒;在集群環(huán)境下，寫入性能可以線性擴(kuò)展，集群的寫入性能可達(dá)數(shù)億點(diǎn)/秒。
2.實(shí)時(shí)讀寫與高效壓縮兼顧。IoTDB使用更高效的時(shí)間序列數(shù)據(jù)壓縮技術(shù)，如 Gorilla 編碼，可以在保持較高壓縮比的同時(shí)，實(shí)現(xiàn)快速的數(shù)據(jù)讀寫，既降低了歷史車況的存儲(chǔ)壓力，又滿足了車聯(lián)網(wǎng)下車況數(shù)據(jù)的實(shí)時(shí)使用場(chǎng)景。
3.端云計(jì)算架構(gòu)。IoTDB 的輕量級(jí)架構(gòu)適用于邊緣設(shè)備，具有高效的數(shù)據(jù)管理和存儲(chǔ)能力。在邊緣節(jié)點(diǎn)，IoTDB支持低延遲的查詢，使實(shí)時(shí)數(shù)據(jù)分析成為可能;終端層的數(shù)據(jù)通過(guò)邊緣層的IoTDB進(jìn)行實(shí)時(shí)采集、處理和存儲(chǔ)，并進(jìn)行一系列的分析任務(wù)后，后續(xù)數(shù)據(jù)可上傳到云端IoTDB，滿足車聯(lián)網(wǎng)領(lǐng)域中大規(guī)模數(shù)據(jù)存儲(chǔ)、高速數(shù)據(jù)攝入和復(fù)雜數(shù)據(jù)分析的需求。
邊緣IoTDB結(jié)合IoTDB云版本，可以支持在不同環(huán)境中管理時(shí)間序列數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量，降低云計(jì)算的成本。
IoTDB時(shí)序數(shù)據(jù)管理流程簡(jiǎn)述
長(zhǎng)安汽車車聯(lián)網(wǎng)平臺(tái)原有方案采取較為簡(jiǎn)單的車況上報(bào)，經(jīng)由網(wǎng)關(guān)轉(zhuǎn)發(fā)后實(shí)時(shí)車況存儲(chǔ)在redis，歷史車況存儲(chǔ)在Hbase。
基于IoTDB的新方案采用端云協(xié)作計(jì)算，部分車況數(shù)據(jù)在終端進(jìn)行數(shù)據(jù)整合，也可根據(jù)特定需求(如國(guó)家采集標(biāo)準(zhǔn)的數(shù)據(jù)格式轉(zhuǎn)換、周期數(shù)據(jù)整合等)自行在終端進(jìn)行簡(jiǎn)單計(jì)算、短期存儲(chǔ)。按照配置上傳云端，通過(guò)規(guī)則引擎進(jìn)行分發(fā)后，基于IoTDB實(shí)時(shí)性高的特征，同時(shí)進(jìn)行實(shí)時(shí)數(shù)據(jù)推送、實(shí)時(shí)數(shù)據(jù)redis存儲(chǔ)、歷史數(shù)據(jù)IoTDB落庫(kù)并提供查詢接口做數(shù)據(jù)統(tǒng)一。
車聯(lián)網(wǎng)平臺(tái)VOT完整架構(gòu)圖
應(yīng)用效果
1.車況上報(bào)百萬(wàn)并發(fā)寫入。面向長(zhǎng)安汽車百萬(wàn)級(jí)在線車輛實(shí)時(shí)車況數(shù)據(jù)上報(bào)、實(shí)時(shí)存儲(chǔ)查詢場(chǎng)景，IoTDB每秒寫入能力達(dá)到800w+，并且支持水平擴(kuò)展承載更高的壓力。
當(dāng)前，長(zhǎng)安汽車VOT平臺(tái)實(shí)時(shí)接入車輛數(shù)量達(dá)到200萬(wàn)輛，每日產(chǎn)生的數(shù)據(jù)量高達(dá)1500億條記錄。在這種規(guī)模下，依托IoTDB打造的新系統(tǒng)能夠保持寫入延遲在毫秒級(jí)別，數(shù)據(jù)實(shí)現(xiàn)快速可靠寫入。
平臺(tái)單日產(chǎn)生的數(shù)據(jù)量累計(jì)約200T，在經(jīng)過(guò)IoTDB高效實(shí)時(shí)存儲(chǔ)處理后，數(shù)據(jù)量得以大幅壓縮，最終存儲(chǔ)量約為30T，實(shí)現(xiàn)了約10倍的數(shù)據(jù)壓縮比例。在當(dāng)前的數(shù)據(jù)存量(覆蓋近90天的時(shí)間范圍)下，IoTDB在大數(shù)據(jù)處理和存儲(chǔ)方面的卓越性能得以體現(xiàn)。
2.歷史車況高效查詢。針對(duì)目前長(zhǎng)安汽車的萬(wàn)億級(jí)車況數(shù)據(jù)，IoTDB將查詢延遲控制在50ms內(nèi)，完全滿足所需性能。
此外，VOT平臺(tái)的數(shù)據(jù)處理架構(gòu)設(shè)計(jì)充分考慮到高并發(fā)和大數(shù)據(jù)量的挑戰(zhàn)，并基于IoTDB及其完善的生態(tài)接入能力，通過(guò)采用先進(jìn)的數(shù)據(jù)索引和查詢優(yōu)化技術(shù)，從而支持快速的數(shù)據(jù)檢索和分析。
不僅如此，平臺(tái)還集成了機(jī)器學(xué)習(xí)算法，用于智能預(yù)測(cè)和維護(hù)車輛狀態(tài)，進(jìn)一步提升數(shù)據(jù)處理的效率和準(zhǔn)確性。這些技術(shù)的應(yīng)用不僅提高數(shù)據(jù)處理的速度、降低運(yùn)維成本，也為用戶提供了更加穩(wěn)定和可靠的服務(wù)體驗(yàn)。
3.平臺(tái)效果展示
啟源App首頁(yè)
車聯(lián)網(wǎng)VOT服務(wù)管理
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
