2020年4月16日，2020年軟件定義存儲線上峰會第二天，青云QingCloud資深解決方案架構(gòu)師張忠華，分享了對象存儲在無人駕駛所需的高精度地圖上的場景實踐，介紹了QingStor®?對象存儲的種種優(yōu)勢以及許多針對該場景的特性，在面對特殊的數(shù)據(jù)處理需求時，QingStor®?對象存儲在架構(gòu)上的許多創(chuàng)新也令人印象深刻。
無人駕駛為什么如此依賴高精度地圖
許多人都知道無人駕駛，也沒幾個人不知道地圖，但高精度地圖并不是誰都知道的，簡單說，高精度地圖不是給人看的，而是給自動駕駛的汽車來用的，它和我們?nèi)粘Ｊ褂玫亩貓D差異非常大，它包含的信息也也更復雜。
無人駕駛主要分為四個階段，感知、定位、決策和控制。感知階段中，車輛依靠車載傳感器獲取道路與環(huán)境信息，然而，在實際情況中，由于天氣、環(huán)境存在非常大的不確定性，僅僅依靠傳感器是無法實現(xiàn)自動駕駛的。每種傳感器都有各自的感知缺陷和限制，激光傳感器，高分辨率攝像機都會受到干擾，還都會有檢測盲區(qū)。
高精度地圖就是為了解決這些問題，在無人駕駛第二階段定位和第三階段車輛的行使決策階段，都高度依賴高精度地圖來做出決策，高精度地圖對于無人駕駛來說是非常的重要。L3 級以上駕駛級別，高精度地圖是標準配置，沒有高精度地圖，車輛寸步難行。
這就是高精度地圖和自動駕駛的關系，那么高精度地圖到底包含哪些具體的信息呢?
原來，高精度地圖必須包含兩類數(shù)據(jù)：
第一類，道路本身的數(shù)據(jù)，比如車道線位置、類型、寬度、坡度和曲率道路信息;
第二類，環(huán)境信息，比如交通標志，信號燈，限行信息，路邊地標等基礎設施信息。
由此可見，高精度地圖包含的信息是非常復雜和多樣的。
由于地圖采集設備的精度不同，產(chǎn)生的數(shù)據(jù)大小也會不同，但可以看出，高精度地圖數(shù)據(jù)的體量極為龐大，一輛標準的數(shù)據(jù)采集車大概有4到5個傳感器，每臺數(shù)據(jù)采集車每天可采集百公里左右路程，大約會產(chǎn)生一個TB的數(shù)據(jù)。
對于高精度地圖而言，采集和制圖，只是完成了無人駕駛地圖制作過程的10%的工作量，后期地圖長期的更新，可能需要占90%的工作量，地圖的更新一般都會采用車隊學習網(wǎng)絡(Fleet Learning Network)，類似于P2P，每輛車最終都是地圖數(shù)據(jù)貢獻者，也是資源的享用者，特斯拉用的就是這種地圖的更新模式。
在無人駕駛汽車正式量產(chǎn)后，上路行使時需要全天候不停讀取地圖數(shù)據(jù)，更大的壓力來自于實時地圖數(shù)據(jù)的更新。在后期地圖更新中，數(shù)據(jù)采集車帶來的大量數(shù)據(jù)并發(fā)壓力是非常大的。
高精度地圖和QingStor®?對象存儲
張忠華詳細介紹了QingStor®?對象存儲在高精度地圖場景中的應用。
高精度地圖的制作流程可以分為四個步驟：經(jīng)過采集和預處理后，數(shù)據(jù)會寫入到對象存儲中，之后由對象存儲將數(shù)據(jù)輸出到AI超級訓練一體機，比如英偉達DGX-1，由訓練一體機做復雜的數(shù)據(jù)處理，超級訓練一體機性能非常強大，但面對采集到的海量數(shù)據(jù)，處理能力也會捉襟見肘，在它完成處理之前，采集到的數(shù)據(jù)仍需要存儲在對象存儲中，訓練完成后，數(shù)據(jù)需要寫回到對象存儲做長期留存。
在這一場景中，對象存儲貫穿了整個高精度地圖的全部制作過程，負責海量地圖數(shù)據(jù)的轉(zhuǎn)儲以及后期地圖長期存儲，目前QingStor®?對象存儲在這一個場景中整體數(shù)據(jù)規(guī)模已經(jīng)有10個PB，預估在三年后，總體規(guī)模會達到40PB。
在這樣的場景中，QingStor®?對象存儲有一個具體的數(shù)據(jù)流架構(gòu)圖，圖中可見，當數(shù)據(jù)由數(shù)據(jù)采集車完成以后，會通過程序接口將數(shù)據(jù)寫入到對象存儲中，再由AI訓練一體機DGX-1處理對象存儲中的數(shù)據(jù)，處理完成的數(shù)據(jù)再入對象存儲。
該場景部署了單一全局統(tǒng)一命名空間的對象存儲集群，從架構(gòu)上看，它并不復雜，唯一需要特別關注的點是使用對象存儲場景中，業(yè)務部門需要有一定的接口開發(fā)和對接的能力。在實際應用場景，高精度地圖對對象存儲也帶來了不少挑戰(zhàn)。
高精度地圖帶來的挑戰(zhàn)以及對象存儲的應對之道
首先一大挑戰(zhàn)是對性能和空間需求不確定性的挑戰(zhàn)，在地圖的前期制作過程中，采集車的數(shù)量是相對固定的，數(shù)據(jù)生成量也相對固定，從業(yè)務形態(tài)上來看，并發(fā)壓力也相對固定。然而，后期地圖更新則可能會導致較大并發(fā)，并發(fā)訪問壓力和數(shù)據(jù)寫入壓力變化比較大。
面對這一情況，QingStor®?對象存儲采用了分層設計架構(gòu)，主要核心的存儲平臺分為接入子系統(tǒng)和索引子系統(tǒng)以及負責具體數(shù)據(jù)存儲的存儲子系統(tǒng)，這樣就可以單獨根據(jù)并發(fā)壓力和存儲空間需求進行單獨擴展，而且不同角色的服務器節(jié)點還可以使用不同的配置，從而物盡其用，不浪費資源。
第二個挑戰(zhàn)在于數(shù)據(jù)安全和服務可靠性。由于自動駕駛過程中對地圖依賴度比較高，對于數(shù)據(jù)訪問可靠性的要求極高，但是分布式存儲在海量存儲場景下，在有節(jié)點故障或者擴容時都需要對數(shù)據(jù)進行重構(gòu)和平衡，對數(shù)據(jù)進行重構(gòu)和平衡的出發(fā)點是好的，它可以讓節(jié)點的負載更加均衡，但在超大規(guī)模的數(shù)據(jù)場景下，在局部的新增和刪除可能都會對集群產(chǎn)生影響，如何避免對于數(shù)據(jù)訪問可靠性的影響呢?
QingStor®?對象存儲將龐大的存儲集群分成若干個存儲服務器小組來縮小故障域，不同的存儲組之間毫無關聯(lián)，他們只接收來自接入層的服務調(diào)度。
當有節(jié)點故障時，只會對同組的三個節(jié)點有影響，不會影響到別的存儲組，從而避免對整個集群的影響。當需要擴容時，優(yōu)先寫入新擴容的節(jié)點，只將數(shù)據(jù)寫入優(yōu)先級權(quán)重比較大的存儲組中，舊存儲組的數(shù)據(jù)不做任何變動。這樣就規(guī)避了對于超大規(guī)模集群的影響。
第三個挑戰(zhàn)在于數(shù)據(jù)類型的多樣性。地圖采集的數(shù)據(jù)類型非常豐富，常規(guī)存儲都會對數(shù)據(jù)進行固定分片，分片一定在程度上是會影響存儲效率的。QingStor®?對象存儲不做分片，用戶可以設定在一定范圍內(nèi)的數(shù)據(jù)都不做任何處理，直接生成副本，讓用戶按照需求設置，從而保證不同類型和大小文件的存儲效率。
第四個挑戰(zhàn)來自于數(shù)據(jù)交互平臺的多樣性，地圖的制作過程中會涉及多個地圖制作平臺和軟件，涉及到多種開發(fā)語言接口，QingStor®?對象存儲的SDK支持大多數(shù)語言，除了支持S3之外，還支持許多青云QingCloud自有的API接口。
由于此類場景會涉及數(shù)據(jù)遷移和導入導出，所以，也需要對象存儲支持多種數(shù)據(jù)遷移工具，QingStor®?對象存儲支持業(yè)界主流的云廠商對象存儲，可以提供工具在這些平臺之間自定義數(shù)據(jù)源和數(shù)據(jù)目標。
QingStor®?對象存儲帶來的收益和價值
QingStor®?對象存儲在高精度地圖場景中表現(xiàn)出的價值主要有四點：
第一，較高的ROI回報，分層架構(gòu)的設計，可以支持用戶根據(jù)業(yè)務需求進行擴容，可以減少資源浪費問題。
第二點，QingStor®?對象存儲技術(shù)架構(gòu)非常成熟，經(jīng)過了大規(guī)模公有云平臺驗證，用戶不需要考慮太多的存儲平臺層的設計，只需專注在業(yè)務上。
第三點，較高的性價比，目前QingStor®?對象存儲應用較為普遍，除了今天說的用在無人駕駛領域，在大數(shù)據(jù)分析平臺上也能作為大數(shù)據(jù)平臺的數(shù)據(jù)存儲，可以作為數(shù)據(jù)源和數(shù)據(jù)存儲目標，用一套平臺實現(xiàn)多種用途，降低整體的TCO。
第四點，極低的運維成本，QingStor®?對象存儲作為一款穩(wěn)定的商業(yè)級產(chǎn)品，擁有完善的服務技術(shù)支持團隊，如果出現(xiàn)一些問題，技術(shù)團隊會在第一時間做除響應，對用戶來說，大規(guī)模數(shù)據(jù)集場景中只需要很少的運維人員，用戶反映說，在運維上的投入非常少，不需要運維人員具備非常深厚的知識。
QingStor®?對象存儲有大規(guī)模服務的經(jīng)驗，在產(chǎn)品上有許多非常有針對性的特性和服務，在生態(tài)上，與業(yè)界很多廠商做了一些聯(lián)合解決方案。
QingStor®?企業(yè)級分布式存儲家族除了有對象存儲，還有文件存儲和塊存儲，作為一個獨立的存儲產(chǎn)品線，可以脫離公有云，進行私有化部署。如今的QingStor®?企業(yè)級分布式存儲廣泛地服務于銀行、保險、能源、制造、醫(yī)療和傳媒等行業(yè)。QingStor®?用基于x86的軟件定義存儲可以幫助傳統(tǒng)企業(yè)降低TCO，同時加速傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型升級。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
