2020年4月16日,2020年軟件定義存儲(chǔ)線上峰會(huì)第二天,青云QingCloud資深解決方案架構(gòu)師張忠華,分享了對(duì)象存儲(chǔ)在無人駕駛所需的高精度地圖上的場(chǎng)景實(shí)踐,介紹了QingStor®?對(duì)象存儲(chǔ)的種種優(yōu)勢(shì)以及許多針對(duì)該場(chǎng)景的特性,在面對(duì)特殊的數(shù)據(jù)處理需求時(shí),QingStor®?對(duì)象存儲(chǔ)在架構(gòu)上的許多創(chuàng)新也令人印象深刻。
無人駕駛為什么如此依賴高精度地圖
許多人都知道無人駕駛,也沒幾個(gè)人不知道地圖,但高精度地圖并不是誰都知道的,簡(jiǎn)單說,高精度地圖不是給人看的,而是給自動(dòng)駕駛的汽車來用的,它和我們?nèi)粘J褂玫亩貓D差異非常大,它包含的信息也也更復(fù)雜。
無人駕駛主要分為四個(gè)階段,感知、定位、決策和控制。感知階段中,車輛依靠車載傳感器獲取道路與環(huán)境信息,然而,在實(shí)際情況中,由于天氣、環(huán)境存在非常大的不確定性,僅僅依靠傳感器是無法實(shí)現(xiàn)自動(dòng)駕駛的。每種傳感器都有各自的感知缺陷和限制,激光傳感器,高分辨率攝像機(jī)都會(huì)受到干擾,還都會(huì)有檢測(cè)盲區(qū)。
高精度地圖就是為了解決這些問題,在無人駕駛第二階段定位和第三階段車輛的行使決策階段,都高度依賴高精度地圖來做出決策,高精度地圖對(duì)于無人駕駛來說是非常的重要。L3 級(jí)以上駕駛級(jí)別,高精度地圖是標(biāo)準(zhǔn)配置,沒有高精度地圖,車輛寸步難行。
這就是高精度地圖和自動(dòng)駕駛的關(guān)系,那么高精度地圖到底包含哪些具體的信息呢?
原來,高精度地圖必須包含兩類數(shù)據(jù):
第一類,道路本身的數(shù)據(jù),比如車道線位置、類型、寬度、坡度和曲率道路信息;
第二類,環(huán)境信息,比如交通標(biāo)志,信號(hào)燈,限行信息,路邊地標(biāo)等基礎(chǔ)設(shè)施信息。
由此可見,高精度地圖包含的信息是非常復(fù)雜和多樣的。
由于地圖采集設(shè)備的精度不同,產(chǎn)生的數(shù)據(jù)大小也會(huì)不同,但可以看出,高精度地圖數(shù)據(jù)的體量極為龐大,一輛標(biāo)準(zhǔn)的數(shù)據(jù)采集車大概有4到5個(gè)傳感器,每臺(tái)數(shù)據(jù)采集車每天可采集百公里左右路程,大約會(huì)產(chǎn)生一個(gè)TB的數(shù)據(jù)。
對(duì)于高精度地圖而言,采集和制圖,只是完成了無人駕駛地圖制作過程的10%的工作量,后期地圖長(zhǎng)期的更新,可能需要占90%的工作量,地圖的更新一般都會(huì)采用車隊(duì)學(xué)習(xí)網(wǎng)絡(luò)(Fleet Learning Network),類似于P2P,每輛車最終都是地圖數(shù)據(jù)貢獻(xiàn)者,也是資源的享用者,特斯拉用的就是這種地圖的更新模式。
在無人駕駛汽車正式量產(chǎn)后,上路行使時(shí)需要全天候不停讀取地圖數(shù)據(jù),更大的壓力來自于實(shí)時(shí)地圖數(shù)據(jù)的更新。在后期地圖更新中,數(shù)據(jù)采集車帶來的大量數(shù)據(jù)并發(fā)壓力是非常大的。
高精度地圖和QingStor®?對(duì)象存儲(chǔ)
張忠華詳細(xì)介紹了QingStor®?對(duì)象存儲(chǔ)在高精度地圖場(chǎng)景中的應(yīng)用。
高精度地圖的制作流程可以分為四個(gè)步驟:經(jīng)過采集和預(yù)處理后,數(shù)據(jù)會(huì)寫入到對(duì)象存儲(chǔ)中,之后由對(duì)象存儲(chǔ)將數(shù)據(jù)輸出到AI超級(jí)訓(xùn)練一體機(jī),比如英偉達(dá)DGX-1,由訓(xùn)練一體機(jī)做復(fù)雜的數(shù)據(jù)處理,超級(jí)訓(xùn)練一體機(jī)性能非常強(qiáng)大,但面對(duì)采集到的海量數(shù)據(jù),處理能力也會(huì)捉襟見肘,在它完成處理之前,采集到的數(shù)據(jù)仍需要存儲(chǔ)在對(duì)象存儲(chǔ)中,訓(xùn)練完成后,數(shù)據(jù)需要寫回到對(duì)象存儲(chǔ)做長(zhǎng)期留存。
在這一場(chǎng)景中,對(duì)象存儲(chǔ)貫穿了整個(gè)高精度地圖的全部制作過程,負(fù)責(zé)海量地圖數(shù)據(jù)的轉(zhuǎn)儲(chǔ)以及后期地圖長(zhǎng)期存儲(chǔ),目前QingStor®?對(duì)象存儲(chǔ)在這一個(gè)場(chǎng)景中整體數(shù)據(jù)規(guī)模已經(jīng)有10個(gè)PB,預(yù)估在三年后,總體規(guī)模會(huì)達(dá)到40PB。
在這樣的場(chǎng)景中,QingStor®?對(duì)象存儲(chǔ)有一個(gè)具體的數(shù)據(jù)流架構(gòu)圖,圖中可見,當(dāng)數(shù)據(jù)由數(shù)據(jù)采集車完成以后,會(huì)通過程序接口將數(shù)據(jù)寫入到對(duì)象存儲(chǔ)中,再由AI訓(xùn)練一體機(jī)DGX-1處理對(duì)象存儲(chǔ)中的數(shù)據(jù),處理完成的數(shù)據(jù)再入對(duì)象存儲(chǔ)。
該場(chǎng)景部署了單一全局統(tǒng)一命名空間的對(duì)象存儲(chǔ)集群,從架構(gòu)上看,它并不復(fù)雜,唯一需要特別關(guān)注的點(diǎn)是使用對(duì)象存儲(chǔ)場(chǎng)景中,業(yè)務(wù)部門需要有一定的接口開發(fā)和對(duì)接的能力。在實(shí)際應(yīng)用場(chǎng)景,高精度地圖對(duì)對(duì)象存儲(chǔ)也帶來了不少挑戰(zhàn)。
高精度地圖帶來的挑戰(zhàn)以及對(duì)象存儲(chǔ)的應(yīng)對(duì)之道
首先一大挑戰(zhàn)是對(duì)性能和空間需求不確定性的挑戰(zhàn),在地圖的前期制作過程中,采集車的數(shù)量是相對(duì)固定的,數(shù)據(jù)生成量也相對(duì)固定,從業(yè)務(wù)形態(tài)上來看,并發(fā)壓力也相對(duì)固定。然而,后期地圖更新則可能會(huì)導(dǎo)致較大并發(fā),并發(fā)訪問壓力和數(shù)據(jù)寫入壓力變化比較大。
面對(duì)這一情況,QingStor®?對(duì)象存儲(chǔ)采用了分層設(shè)計(jì)架構(gòu),主要核心的存儲(chǔ)平臺(tái)分為接入子系統(tǒng)和索引子系統(tǒng)以及負(fù)責(zé)具體數(shù)據(jù)存儲(chǔ)的存儲(chǔ)子系統(tǒng),這樣就可以單獨(dú)根據(jù)并發(fā)壓力和存儲(chǔ)空間需求進(jìn)行單獨(dú)擴(kuò)展,而且不同角色的服務(wù)器節(jié)點(diǎn)還可以使用不同的配置,從而物盡其用,不浪費(fèi)資源。
第二個(gè)挑戰(zhàn)在于數(shù)據(jù)安全和服務(wù)可靠性。由于自動(dòng)駕駛過程中對(duì)地圖依賴度比較高,對(duì)于數(shù)據(jù)訪問可靠性的要求極高,但是分布式存儲(chǔ)在海量存儲(chǔ)場(chǎng)景下,在有節(jié)點(diǎn)故障或者擴(kuò)容時(shí)都需要對(duì)數(shù)據(jù)進(jìn)行重構(gòu)和平衡,對(duì)數(shù)據(jù)進(jìn)行重構(gòu)和平衡的出發(fā)點(diǎn)是好的,它可以讓節(jié)點(diǎn)的負(fù)載更加均衡,但在超大規(guī)模的數(shù)據(jù)場(chǎng)景下,在局部的新增和刪除可能都會(huì)對(duì)集群產(chǎn)生影響,如何避免對(duì)于數(shù)據(jù)訪問可靠性的影響呢?
QingStor®?對(duì)象存儲(chǔ)將龐大的存儲(chǔ)集群分成若干個(gè)存儲(chǔ)服務(wù)器小組來縮小故障域,不同的存儲(chǔ)組之間毫無關(guān)聯(lián),他們只接收來自接入層的服務(wù)調(diào)度。
當(dāng)有節(jié)點(diǎn)故障時(shí),只會(huì)對(duì)同組的三個(gè)節(jié)點(diǎn)有影響,不會(huì)影響到別的存儲(chǔ)組,從而避免對(duì)整個(gè)集群的影響。當(dāng)需要擴(kuò)容時(shí),優(yōu)先寫入新擴(kuò)容的節(jié)點(diǎn),只將數(shù)據(jù)寫入優(yōu)先級(jí)權(quán)重比較大的存儲(chǔ)組中,舊存儲(chǔ)組的數(shù)據(jù)不做任何變動(dòng)。這樣就規(guī)避了對(duì)于超大規(guī)模集群的影響。
第三個(gè)挑戰(zhàn)在于數(shù)據(jù)類型的多樣性。地圖采集的數(shù)據(jù)類型非常豐富,常規(guī)存儲(chǔ)都會(huì)對(duì)數(shù)據(jù)進(jìn)行固定分片,分片一定在程度上是會(huì)影響存儲(chǔ)效率的。QingStor®?對(duì)象存儲(chǔ)不做分片,用戶可以設(shè)定在一定范圍內(nèi)的數(shù)據(jù)都不做任何處理,直接生成副本,讓用戶按照需求設(shè)置,從而保證不同類型和大小文件的存儲(chǔ)效率。
第四個(gè)挑戰(zhàn)來自于數(shù)據(jù)交互平臺(tái)的多樣性,地圖的制作過程中會(huì)涉及多個(gè)地圖制作平臺(tái)和軟件,涉及到多種開發(fā)語言接口,QingStor®?對(duì)象存儲(chǔ)的SDK支持大多數(shù)語言,除了支持S3之外,還支持許多青云QingCloud自有的API接口。
由于此類場(chǎng)景會(huì)涉及數(shù)據(jù)遷移和導(dǎo)入導(dǎo)出,所以,也需要對(duì)象存儲(chǔ)支持多種數(shù)據(jù)遷移工具,QingStor®?對(duì)象存儲(chǔ)支持業(yè)界主流的云廠商對(duì)象存儲(chǔ),可以提供工具在這些平臺(tái)之間自定義數(shù)據(jù)源和數(shù)據(jù)目標(biāo)。
QingStor®?對(duì)象存儲(chǔ)帶來的收益和價(jià)值
QingStor®?對(duì)象存儲(chǔ)在高精度地圖場(chǎng)景中表現(xiàn)出的價(jià)值主要有四點(diǎn):
第一,較高的ROI回報(bào),分層架構(gòu)的設(shè)計(jì),可以支持用戶根據(jù)業(yè)務(wù)需求進(jìn)行擴(kuò)容,可以減少資源浪費(fèi)問題。
第二點(diǎn),QingStor®?對(duì)象存儲(chǔ)技術(shù)架構(gòu)非常成熟,經(jīng)過了大規(guī)模公有云平臺(tái)驗(yàn)證,用戶不需要考慮太多的存儲(chǔ)平臺(tái)層的設(shè)計(jì),只需專注在業(yè)務(wù)上。
第三點(diǎn),較高的性價(jià)比,目前QingStor®?對(duì)象存儲(chǔ)應(yīng)用較為普遍,除了今天說的用在無人駕駛領(lǐng)域,在大數(shù)據(jù)分析平臺(tái)上也能作為大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ),可以作為數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)目標(biāo),用一套平臺(tái)實(shí)現(xiàn)多種用途,降低整體的TCO。
第四點(diǎn),極低的運(yùn)維成本,QingStor®?對(duì)象存儲(chǔ)作為一款穩(wěn)定的商業(yè)級(jí)產(chǎn)品,擁有完善的服務(wù)技術(shù)支持團(tuán)隊(duì),如果出現(xiàn)一些問題,技術(shù)團(tuán)隊(duì)會(huì)在第一時(shí)間做除響應(yīng),對(duì)用戶來說,大規(guī)模數(shù)據(jù)集場(chǎng)景中只需要很少的運(yùn)維人員,用戶反映說,在運(yùn)維上的投入非常少,不需要運(yùn)維人員具備非常深厚的知識(shí)。
QingStor®?對(duì)象存儲(chǔ)有大規(guī)模服務(wù)的經(jīng)驗(yàn),在產(chǎn)品上有許多非常有針對(duì)性的特性和服務(wù),在生態(tài)上,與業(yè)界很多廠商做了一些聯(lián)合解決方案。
QingStor®?企業(yè)級(jí)分布式存儲(chǔ)家族除了有對(duì)象存儲(chǔ),還有文件存儲(chǔ)和塊存儲(chǔ),作為一個(gè)獨(dú)立的存儲(chǔ)產(chǎn)品線,可以脫離公有云,進(jìn)行私有化部署。如今的QingStor®?企業(yè)級(jí)分布式存儲(chǔ)廣泛地服務(wù)于銀行、保險(xiǎn)、能源、制造、醫(yī)療和傳媒等行業(yè)。QingStor®?用基于x86的軟件定義存儲(chǔ)可以幫助傳統(tǒng)企業(yè)降低TCO,同時(shí)加速傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型升級(jí)。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )