本文源于：長安汽車智能化研究院
業(yè)務(wù)場景介紹
1.公司簡介：長安汽車，全稱“重慶長安汽車股份有限公司”，是中國領(lǐng)先的汽車制造商之一，以廣泛的產(chǎn)品線和創(chuàng)新技術(shù)而聞名。長安汽車不僅提供多種乘用車和商用車，還在智能網(wǎng)聯(lián)汽車技術(shù)方面處于行業(yè)前沿，特別是在車聯(lián)網(wǎng)平臺的開發(fā)上。
車聯(lián)網(wǎng)平臺是長安汽車智能化戰(zhàn)略的核心組成部分，該平臺利用云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術(shù)，實(shí)現(xiàn)車輛與外部環(huán)境、其他車輛以及交通基礎(chǔ)設(shè)施的互聯(lián)互通。其核心平臺VOT實(shí)現(xiàn)了千萬級車輛實(shí)時在線、毫秒級通訊互聯(lián)、完整的生態(tài)接入能力，并在此基礎(chǔ)上提供實(shí)時數(shù)據(jù)采集、海量數(shù)據(jù)分析計(jì)算、實(shí)時預(yù)警車輛故障、保證車輛安全駕駛等功能，顯著提升了用戶的用車體驗(yàn)。
2.業(yè)務(wù)全景介紹：長安汽車智能化研究院承擔(dān)了長安汽車智能化轉(zhuǎn)型的重要角色，其車聯(lián)網(wǎng)平臺是公司智能化戰(zhàn)略的重要組成部分，該平臺借助大數(shù)據(jù)、云計(jì)算和人工智能等先進(jìn)的數(shù)字技術(shù)，為消費(fèi)者提供更安全、更舒適、更便捷的智能駕駛體驗(yàn)。主要包含的業(yè)務(wù)如下:
車聯(lián)網(wǎng)核心平臺VOT：公司基于超大規(guī)模云原生架構(gòu)下設(shè)計(jì)的車云核心服務(wù)，業(yè)務(wù)涵蓋車輛遠(yuǎn)控、車況、事件通訊、服務(wù)編排、規(guī)則引擎等核心能力，通過物聯(lián)網(wǎng)時序數(shù)據(jù)庫IoTDB實(shí)現(xiàn)了千萬級的車輛穩(wěn)定接入、千萬點(diǎn)每秒的數(shù)據(jù)并發(fā)處理以及超高的終端接入兼容性，是長安汽車所有車輛的云上大腦。
數(shù)據(jù)分析平臺：公司基于Apache Doris升級了車聯(lián)網(wǎng)數(shù)據(jù)分析平臺，支持單日百億級別數(shù)據(jù)的實(shí)時處理，并能實(shí)現(xiàn)十億級別數(shù)據(jù)查詢的秒級響應(yīng)。該平臺為長安汽車在提升用戶用車體驗(yàn)、實(shí)時預(yù)警車輛故障、保證車輛安全駕駛等方面帶來顯著成果。
云器Lakehouse大數(shù)據(jù)平臺：公司建設(shè)了基于云器Lakehouse的車聯(lián)網(wǎng)大數(shù)據(jù)平臺，面對超大規(guī)模數(shù)據(jù)量和業(yè)務(wù)的飛速發(fā)展，解決了成本高、用數(shù)難、運(yùn)維煩等挑戰(zhàn)。
車聯(lián)網(wǎng)業(yè)務(wù)整體架構(gòu)圖
3.平臺時序數(shù)據(jù)管理能力建設(shè)：伴隨著長安汽車旗下主要品牌(包括阿維塔、深藍(lán)、啟源等)的迅猛擴(kuò)張以及智能網(wǎng)聯(lián)汽車的數(shù)量呈指數(shù)級增長，車聯(lián)網(wǎng)平臺迎來了前所未有的壓力。這種增長不僅給車聯(lián)網(wǎng)平臺帶來了數(shù)據(jù)并發(fā)處理的挑戰(zhàn)，也導(dǎo)致了平臺海量數(shù)據(jù)處理成本的上升、效率的下降以及實(shí)時和歷史數(shù)據(jù)存儲費(fèi)用的增加。
具體來看，車況信息作為眾多車輛數(shù)據(jù)中的核心數(shù)據(jù)，海量的連接數(shù)量導(dǎo)致數(shù)據(jù)上報量也呈指數(shù)級增長。在當(dāng)前的日活躍用戶數(shù)下，每日實(shí)時上行的車況數(shù)據(jù)量已達(dá)到驚人的200T。
IoTDB作為長安汽車車聯(lián)網(wǎng)平臺的核心數(shù)據(jù)存儲引擎，扮演著至關(guān)重要的角色，不僅支持高并發(fā)的讀寫操作，還負(fù)責(zé)歷史數(shù)據(jù)的長期存儲。
業(yè)務(wù)需求痛點(diǎn)
1.海量并發(fā)寫入性能低。當(dāng)前，在長安汽車閑時活躍用戶量約200萬的情況下，車聯(lián)網(wǎng)平臺實(shí)時上傳的車況數(shù)據(jù)并發(fā)量已經(jīng)穩(wěn)定在數(shù)十萬級別。由于不同車型導(dǎo)致的車況模板信息需求差異，動態(tài)存儲成為了一個迫切需要解決的問題。
同時，相比傳統(tǒng)汽車，智能汽車領(lǐng)域單個智能汽車的數(shù)據(jù)交互量呈現(xiàn)出數(shù)十倍的增長。以長安汽車近千萬的日活躍用戶量計(jì)算，長安汽車車聯(lián)網(wǎng)平臺長期承受著每秒超過50萬次的數(shù)據(jù)傳輸壓力。如此海量數(shù)據(jù)壓力下，傳統(tǒng)數(shù)據(jù)庫面臨著服務(wù)器資源高負(fù)載和寫入性能的雙重挑戰(zhàn)。
2.存儲與查詢靈活性差。在面對這些挑戰(zhàn)時，長安汽車現(xiàn)有車況數(shù)據(jù)存儲引擎HBase表現(xiàn)出明顯的劣勢：原數(shù)據(jù)存儲引擎數(shù)據(jù)模型基于行鍵、列族和時間戳，所有的數(shù)據(jù)訪問模式都必須圍繞該模型設(shè)計(jì)。若數(shù)據(jù)訪問模式與 HBase 的數(shù)據(jù)模型不匹配，可能會導(dǎo)致查詢效率降低。
而且，HBase 不支持像傳統(tǒng)關(guān)系型數(shù)據(jù)庫般的聯(lián)結(jié)操作和復(fù)雜的事務(wù)處理。因此在需要進(jìn)行復(fù)雜查詢的應(yīng)用場景中，HBase 可能并不是最佳選擇。
此外，HBase 的查詢通常涉及全表掃描，這在大型表中會消耗大量資源和時間。盡管這一問題可以通過使用過濾器來減少掃描的數(shù)據(jù)量，但仍然是一個需要考慮的性能瓶頸。
3.歷史數(shù)據(jù)存儲成本高。HBase 作為一種基于列的存儲解決方案，雖然適合存儲稀疏數(shù)據(jù)，但在處理高頻更新和小批量隨機(jī)讀寫操作時效率并不理想。同時，盡管 HBase 支持 GZIP、Snappy 等多種壓縮算法以有效減少存儲空間占用，但這些操作可能會增加 CPU 使用率，并降低數(shù)據(jù)的讀寫性能，從而無法滿足大數(shù)據(jù)量下數(shù)據(jù)實(shí)時處理的需求。
4.中心計(jì)算資源緊張。長安汽車原有的車況數(shù)據(jù)架構(gòu)基于純云端的 HBase 存儲，強(qiáng)烈依賴于 Hadoop 生態(tài)計(jì)算架構(gòu)，這種計(jì)算架構(gòu)并非輕量級，其所有計(jì)算成本都緊密圍繞著建立的生態(tài)系統(tǒng)。這種依賴性，對云核心的負(fù)載造成了極大壓力。
此外，HBase 基于單個主節(jié)點(diǎn)的集群架構(gòu)，在面臨故障時雖然可以繼續(xù)連接其他區(qū)域(region)，但主節(jié)點(diǎn)的恢復(fù)時間較長，從而導(dǎo)致計(jì)算鏈路性能下降，這也意味著所有計(jì)算壓力都集中在云端，單就HBase而言其復(fù)雜的架構(gòu)難以在邊緣節(jié)點(diǎn)上部署。
選型 IoTDB 原因
1.支持動態(tài)模板的海量并發(fā)處理能力。IoTDB基于時間序列的存儲結(jié)構(gòu)優(yōu)化與Hbase針對基于時間序列的固定模板不同，IoTDB的元數(shù)據(jù)模板支持動態(tài)的增刪改查，并在此基礎(chǔ)上實(shí)現(xiàn)了物理量元數(shù)據(jù)共享，優(yōu)化了存儲及使用成本。
IoTDB也支持高并發(fā)連接，單臺服務(wù)器可以處理數(shù)萬次并發(fā)連接/秒，具備高寫入吞吐的特點(diǎn);單核處理寫入請求可以達(dá)到數(shù)萬次/秒，單臺服務(wù)器的寫入性能可以達(dá)到數(shù)千萬點(diǎn)/秒;在集群環(huán)境下，寫入性能可以線性擴(kuò)展，集群的寫入性能可達(dá)數(shù)億點(diǎn)/秒。
2.實(shí)時讀寫與高效壓縮兼顧。IoTDB使用更高效的時間序列數(shù)據(jù)壓縮技術(shù)，如 Gorilla 編碼，可以在保持較高壓縮比的同時，實(shí)現(xiàn)快速的數(shù)據(jù)讀寫，既降低了歷史車況的存儲壓力，又滿足了車聯(lián)網(wǎng)下車況數(shù)據(jù)的實(shí)時使用場景。
3.端云計(jì)算架構(gòu)。IoTDB 的輕量級架構(gòu)適用于邊緣設(shè)備，具有高效的數(shù)據(jù)管理和存儲能力。在邊緣節(jié)點(diǎn)，IoTDB支持低延遲的查詢，使實(shí)時數(shù)據(jù)分析成為可能;終端層的數(shù)據(jù)通過邊緣層的IoTDB進(jìn)行實(shí)時采集、處理和存儲，并進(jìn)行一系列的分析任務(wù)后，后續(xù)數(shù)據(jù)可上傳到云端IoTDB，滿足車聯(lián)網(wǎng)領(lǐng)域中大規(guī)模數(shù)據(jù)存儲、高速數(shù)據(jù)攝入和復(fù)雜數(shù)據(jù)分析的需求。
邊緣IoTDB結(jié)合IoTDB云版本，可以支持在不同環(huán)境中管理時間序列數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量，降低云計(jì)算的成本。
IoTDB時序數(shù)據(jù)管理流程簡述
長安汽車車聯(lián)網(wǎng)平臺原有方案采取較為簡單的車況上報，經(jīng)由網(wǎng)關(guān)轉(zhuǎn)發(fā)后實(shí)時車況存儲在redis，歷史車況存儲在Hbase。
基于IoTDB的新方案采用端云協(xié)作計(jì)算，部分車況數(shù)據(jù)在終端進(jìn)行數(shù)據(jù)整合，也可根據(jù)特定需求(如國家采集標(biāo)準(zhǔn)的數(shù)據(jù)格式轉(zhuǎn)換、周期數(shù)據(jù)整合等)自行在終端進(jìn)行簡單計(jì)算、短期存儲。按照配置上傳云端，通過規(guī)則引擎進(jìn)行分發(fā)后，基于IoTDB實(shí)時性高的特征，同時進(jìn)行實(shí)時數(shù)據(jù)推送、實(shí)時數(shù)據(jù)redis存儲、歷史數(shù)據(jù)IoTDB落庫并提供查詢接口做數(shù)據(jù)統(tǒng)一。
車聯(lián)網(wǎng)平臺VOT完整架構(gòu)圖
應(yīng)用效果
1.車況上報百萬并發(fā)寫入。面向長安汽車百萬級在線車輛實(shí)時車況數(shù)據(jù)上報、實(shí)時存儲查詢場景，IoTDB每秒寫入能力達(dá)到800w+，并且支持水平擴(kuò)展承載更高的壓力。
當(dāng)前，長安汽車VOT平臺實(shí)時接入車輛數(shù)量達(dá)到200萬輛，每日產(chǎn)生的數(shù)據(jù)量高達(dá)1500億條記錄。在這種規(guī)模下，依托IoTDB打造的新系統(tǒng)能夠保持寫入延遲在毫秒級別，數(shù)據(jù)實(shí)現(xiàn)快速可靠寫入。
平臺單日產(chǎn)生的數(shù)據(jù)量累計(jì)約200T，在經(jīng)過IoTDB高效實(shí)時存儲處理后，數(shù)據(jù)量得以大幅壓縮，最終存儲量約為30T，實(shí)現(xiàn)了約10倍的數(shù)據(jù)壓縮比例。在當(dāng)前的數(shù)據(jù)存量(覆蓋近90天的時間范圍)下，IoTDB在大數(shù)據(jù)處理和存儲方面的卓越性能得以體現(xiàn)。
2.歷史車況高效查詢。針對目前長安汽車的萬億級車況數(shù)據(jù)，IoTDB將查詢延遲控制在50ms內(nèi)，完全滿足所需性能。
此外，VOT平臺的數(shù)據(jù)處理架構(gòu)設(shè)計(jì)充分考慮到高并發(fā)和大數(shù)據(jù)量的挑戰(zhàn)，并基于IoTDB及其完善的生態(tài)接入能力，通過采用先進(jìn)的數(shù)據(jù)索引和查詢優(yōu)化技術(shù)，從而支持快速的數(shù)據(jù)檢索和分析。
不僅如此，平臺還集成了機(jī)器學(xué)習(xí)算法，用于智能預(yù)測和維護(hù)車輛狀態(tài)，進(jìn)一步提升數(shù)據(jù)處理的效率和準(zhǔn)確性。這些技術(shù)的應(yīng)用不僅提高數(shù)據(jù)處理的速度、降低運(yùn)維成本，也為用戶提供了更加穩(wěn)定和可靠的服務(wù)體驗(yàn)。
3.平臺效果展示
啟源App首頁
車聯(lián)網(wǎng)VOT服務(wù)管理
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
