9月9日下午，2020 GIS 軟件技術(shù)大會(huì)主題大會(huì)在北京國際會(huì)議中心舉行。會(huì)上，超圖集團(tuán)總裁、董事宋關(guān)福博士作《分布式GIS與空間區(qū)塊鏈技術(shù)探索》報(bào)告，分享了超圖“BitDC”五大技術(shù)體系之分布式GIS技術(shù)體系，并介紹了超圖在空間區(qū)塊鏈方面的最新探索。
宋關(guān)福在GTC 2020主題大會(huì)作報(bào)告
宋關(guān)福認(rèn)為，GIS軟件技術(shù)的發(fā)展史，就是不斷與膨脹的空間數(shù)據(jù)戰(zhàn)斗的歷史。2011年-2015年，超圖先后在64位計(jì)算、多線程計(jì)算、GPU計(jì)算等高性能計(jì)算技術(shù)方面進(jìn)行了探索，以滿足不斷激增的空間數(shù)據(jù)處理需求。這一階段，利用單機(jī)算力提升GIS性能的集中式GIS是主流。
隨著數(shù)據(jù)采集技術(shù)的不斷進(jìn)步，新一代測(cè)繪與設(shè)計(jì)數(shù)據(jù)和空間大數(shù)據(jù)愈發(fā)膨脹，GIS軟件對(duì)其存儲(chǔ)、處理和分析面臨巨大挑戰(zhàn)：分析處理性能驟降，基本無法管理類似手機(jī)信令的流式空間大數(shù)據(jù)。超圖在GIS高性能計(jì)算上開辟新路徑：從集中式GIS轉(zhuǎn)向分布式GIS。
分布式GIS技術(shù)是利用多機(jī)分布式協(xié)同技術(shù)和計(jì)算資源的橫向擴(kuò)展能力，完成大量并發(fā)請(qǐng)求，或分解完成單一復(fù)雜任務(wù)的GIS技術(shù)。事實(shí)上，“分布式GIS”不是新概念，20年前就有學(xué)者提出，但一直未有真正商業(yè)化產(chǎn)品。
今天的分布式GIS技術(shù)由多項(xiàng)零散的技術(shù)演化而成。超圖整合2004年至今的研究成果，構(gòu)建了分布式GIS技術(shù)體系，結(jié)構(gòu)如下：
分布式GIS技術(shù)體系的五大技術(shù)
1、邊緣GIS技術(shù)
宋關(guān)福用一幅有趣的章魚圖來比喻邊緣GIS技術(shù)：章魚只有40%神經(jīng)元在大腦里，60%分布在八個(gè)爪里，所以它的思考是“分布式”的。邊緣GIS技術(shù)跟章魚類似，在經(jīng)典的云和端環(huán)境中，分布式的邊緣服務(wù)器是對(duì)云中心的補(bǔ)充，是一種協(xié)同。
“過去，端直接訪問云中心，會(huì)有一定的網(wǎng)絡(luò)延時(shí)，效率比較低。為了解決這個(gè)問題，我們就在靠近端的邊緣地帶部署了邊緣服務(wù)器，一些訪問、數(shù)據(jù)、計(jì)算不再直接發(fā)往云中心，而是交給邊緣服務(wù)器去處理，如有處理不了的，邊緣服務(wù)器再發(fā)往云中心，如此就可以降低網(wǎng)絡(luò)延時(shí)，提高響應(yīng)效率。
相比帶寬消耗較高、實(shí)時(shí)性比較差的集中式的云GIS，邊緣GIS在邊緣的地方分解了帶寬的壓力，有著低帶寬消耗、低網(wǎng)絡(luò)延時(shí)的特點(diǎn)，大大提升了系統(tǒng)響應(yīng)的速度，整體價(jià)值體現(xiàn)為：高性能。”
SuperMap GIS 10i(2020)新版本中的邊緣服務(wù)器，新增支持三維數(shù)據(jù)分發(fā)的工具，包括地形瓦片、S3M瓦片、影像瓦片，可以大幅提升三維服務(wù)器的性能。
2、云原生GIS技術(shù)
早在三年前，超圖就發(fā)布了云原生GIS技術(shù)：原生為云設(shè)計(jì)、充分發(fā)揮云的彈性和分布式優(yōu)勢(shì)的GIS技術(shù)，可以讓云更好地發(fā)揮作用。微服務(wù)、容器化、自動(dòng)編排、持續(xù)交付、DevOps是云原生GIS五要素。
早期的Web GIS是單體架構(gòu)，所有操作在一個(gè)程序中啟動(dòng)。微服務(wù)化把它拆成若干個(gè)模塊，每個(gè)模塊都可以單獨(dú)部署、單獨(dú)啟動(dòng)。
容器化部署就是讓微服務(wù)的小模塊在不同的機(jī)器上協(xié)同開展工作。這樣的架構(gòu)有著細(xì)粒度、高彈性、相互獨(dú)立、故障隔離的特點(diǎn)，大大提高了可用性。
在2018年第一次推出微服務(wù)后，今年超圖推出了更微的GIS服務(wù)：此前，組件和C++內(nèi)核未解耦分包，現(xiàn)在，組件和C++內(nèi)核可實(shí)現(xiàn)解耦分包。分解得更細(xì)致之后，資源消耗更低。如下圖三個(gè)指標(biāo)對(duì)比：
SuperMap iServer微服務(wù)資源消耗
假設(shè)單體架構(gòu)2017為100%，更微的GIS服務(wù)出現(xiàn)之后，部署包大小減少至42%，占用內(nèi)存減少至47%，啟動(dòng)時(shí)間縮減至28%。
以云原生的云南地質(zhì)大數(shù)據(jù)系統(tǒng)為例，系統(tǒng)有著400TB數(shù)據(jù)、400+服務(wù)實(shí)例，數(shù)據(jù)量非常大。如何調(diào)度成百上千的服務(wù)實(shí)例?這就需要應(yīng)用SuperMap GIS云原生技術(shù)，用SuperMap iManager和kubernetes來實(shí)現(xiàn)自動(dòng)化編排，對(duì)多個(gè)容器自動(dòng)化運(yùn)維管理，可以做到負(fù)載均衡、服務(wù)自愈、彈性伸縮。
云原生的價(jià)值可總結(jié)為：高彈性、高可用、高并發(fā)。所謂高彈性，就是粒度小了，彈性就高了，當(dāng)某一個(gè)模塊訪問量大的時(shí)候，只要重新啟動(dòng)模塊容器即可;高可用，指的是故障發(fā)生的頻率降低，不容易宕機(jī);高并發(fā)是指同樣多的計(jì)算資源，可以支撐更多的實(shí)例運(yùn)行，并發(fā)能力提高。
3、分布式空間分析與處理技術(shù)
分布式空間分析與處理技術(shù)是基于Spark并行計(jì)算框架，把單一復(fù)雜的任務(wù)分解成多個(gè)子任務(wù)，發(fā)送到不同的服務(wù)器中去協(xié)同計(jì)算，再把結(jié)果匯總起來，這樣可以數(shù)量級(jí)提升分析處理性能。
分布式空間分析與處理技術(shù)的外延
SuperMap GIS 10i(2020)新版本中，分布式空間分析與處理技術(shù)新增支撐對(duì)三維數(shù)據(jù)的分布式處理，例如地形、影像數(shù)據(jù)等多元數(shù)據(jù)，在數(shù)據(jù)接入、數(shù)據(jù)處理、服務(wù)發(fā)布環(huán)節(jié)，都可以使用分布式的技術(shù)來提升性能。
這其中不得不提支持Web和分布式計(jì)算的Geoprocessing，它提供了一種圖示化的、所見即所得的方式，用來構(gòu)建空間數(shù)據(jù)分析流程、處理建模，還支持分布式處理算子，可用分布式的算法提高性能。同時(shí)，它提供了純Web版本(Web GP)，可以與桌面的GP協(xié)同。這在國際范圍內(nèi)是一種創(chuàng)新的嘗試。
分布式空間分析與處理技術(shù)的價(jià)值體現(xiàn)為：高性能，即提高分析處理算法的性能，降低時(shí)間消耗。
超圖做了某省土地利用(矢量數(shù)據(jù))區(qū)域匯總分析的測(cè)試，4389萬記錄數(shù)據(jù)+省區(qū)劃面數(shù)據(jù)，如此大量的數(shù)據(jù)采用傳統(tǒng)單機(jī)方法需要耗時(shí)14.5小時(shí)，改為6節(jié)點(diǎn)的分布式計(jì)算模式后，只需要耗時(shí)22分鐘，性能提升了40倍。
4、分布式空間數(shù)據(jù)引擎技術(shù)
分布式空間數(shù)據(jù)引擎技術(shù)，就是利用多機(jī)協(xié)同的分布式數(shù)據(jù)存儲(chǔ)技術(shù)，突破空間數(shù)據(jù)庫容量瓶頸。以前數(shù)據(jù)庫記錄數(shù)超過一個(gè)億時(shí)，性能就急劇下降。這就需要分布式空間數(shù)據(jù)引擎技術(shù)，來提高空間數(shù)據(jù)存儲(chǔ)管理性能。
SuperMap分布式空間數(shù)據(jù)引擎
SuperMap GIS 10i(2020)新版本中，分布式空間數(shù)據(jù)引擎技術(shù)新增支持分布式三維緩存瓦片存儲(chǔ)。如傾斜攝影建模數(shù)據(jù)、點(diǎn)云數(shù)據(jù)等多源數(shù)據(jù)，可以把三維瓦片數(shù)據(jù)存放在MongoDB中，以提高緩存讀寫的性能。
同時(shí)，分布式還能賦能三維GIS游戲引擎，“實(shí)力派”三維GIS可以為游戲引擎提供大場(chǎng)景三維數(shù)據(jù)和GIS分析處理能力，“偶像派”游戲引擎可以為三維GIS提供高仿真渲染效果。
超圖還聯(lián)合Unreal Engine、Unity兩大游戲引擎公司，研發(fā)了三維GIS插件——超圖三維GIS游戲引擎開發(fā)包(SuperMap Scene SDKs 10i(2020) for game engines)。未來的數(shù)字孿生，也許就要借助這樣的方式，來實(shí)現(xiàn)更好的可視化效果。
分布式空間數(shù)據(jù)引擎技術(shù)的價(jià)值可總結(jié)為：大容量和高性能。大容量，就是突破大容量數(shù)據(jù)的管理;高性能，是指數(shù)據(jù)大的時(shí)候，索引查詢的性能大幅度提高。
5、空間區(qū)塊鏈技術(shù)
數(shù)據(jù)存儲(chǔ)量、性能都很高了，怎么防止別人去篡改數(shù)據(jù)?這就需要超圖今年新發(fā)布的空間區(qū)塊鏈(Geo-Blockchain)技術(shù)。
高安全、可追溯、高可信的區(qū)塊鏈，是一種特殊的分布式的數(shù)據(jù)存儲(chǔ)方式，與GIS融合后，就形成了空間區(qū)塊鏈，達(dá)成了高可信的分布式空間數(shù)據(jù)庫?？臻g區(qū)塊鏈技術(shù)的價(jià)值就是：高可信。超圖空間區(qū)塊鏈技術(shù)框架選擇了擴(kuò)展性好、流行度高、開源可商用的聯(lián)盟鏈Hyperledger Fabric。
由于空間區(qū)塊鏈要解決防篡改的問題，性能比較低，空間消耗比較大，重復(fù)存儲(chǔ)要消耗十幾倍的空間消耗，目前還不能做到把所有的空間數(shù)據(jù)都上鏈，只能把關(guān)鍵的、要保護(hù)的數(shù)據(jù)上鏈。如果數(shù)據(jù)量較大，則需要通過IPFS作為外部存儲(chǔ)來配合上鏈。
空間區(qū)塊鏈技術(shù)
未來的一段時(shí)間，空間區(qū)塊鏈技術(shù)可應(yīng)用到國土空間規(guī)劃與用途管制、不動(dòng)產(chǎn)登記與交易、自然資源資產(chǎn)與權(quán)益管理等自然資源管理相關(guān)領(lǐng)域，以及食品、藥品監(jiān)督與溯源、重要物品物流位置管理、城管執(zhí)法管理等領(lǐng)域中，帶來新的應(yīng)用價(jià)值。宋關(guān)福說，區(qū)塊鏈與GIS的結(jié)合才剛剛開始，精彩正在展開。
宋關(guān)?？偨Y(jié)說，上述五項(xiàng)技術(shù)都有著各自的價(jià)值。高性能的邊緣GIS技術(shù)，高可用、高并發(fā)、高彈性的云原生GIS技術(shù)，高性能的分布式空間分析與處理技術(shù)，大容量、高性能的分布式空間數(shù)據(jù)引擎技術(shù)，高可信的空間區(qū)塊鏈技術(shù)，它們共同組成了分布式GIS技術(shù)體系，所以分布式GIS的價(jià)值可以總結(jié)為“五高、一大”。這些技術(shù)和價(jià)值將給地理信息技術(shù)和應(yīng)用創(chuàng)造更多可能。
分布式GIS的價(jià)值“五高、一大”
會(huì)上，超圖正式發(fā)布了SuperMap GIS 10i (2020)，推出了新的GIS基礎(chǔ)軟件五大技術(shù)體系(BitDC)，即大數(shù)據(jù)GIS、人工智能GIS、新一代三維GIS、分布式GIS和跨平臺(tái)GIS技術(shù)體系，豐富和革新了GIS理論與技術(shù)，為各行業(yè)信息化賦能更強(qiáng)大的地理智慧。
SuperMap GIS 2020 五大技術(shù)體系(BitDC)
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
