當(dāng)下,中國已經(jīng)成為全球最大的數(shù)據(jù)生產(chǎn)國,其中物聯(lián)網(wǎng)的數(shù)據(jù)產(chǎn)生量備受關(guān)注。據(jù)前瞻產(chǎn)業(yè)研究院發(fā)布的《2019 年中國大數(shù)據(jù)產(chǎn)業(yè)全景圖譜》顯示,預(yù)計 2025 年,物聯(lián)網(wǎng)數(shù)據(jù)占比將增加到 21%,增速最快。而物聯(lián)網(wǎng)數(shù)據(jù)本身價值密度小、數(shù)據(jù)體量大、數(shù)據(jù)時效性高、數(shù)據(jù)質(zhì)量低等特點(diǎn),使得物聯(lián)網(wǎng)數(shù)據(jù)分析面臨著諸多的關(guān)鍵挑戰(zhàn),很難發(fā)揮其真正的效用。
7月18日,在【 DevRun 開發(fā)者沙龍——華為云深圳金蝶專場】上,華為云為開發(fā)者分享了“以孿生模型驅(qū)動的 IoT 數(shù)據(jù)分析如何使能行業(yè)”的相關(guān)技術(shù)原理、實踐經(jīng)驗和對應(yīng)方法論,為物聯(lián)網(wǎng)數(shù)據(jù)分析帶來新的機(jī)遇。
以下內(nèi)容經(jīng)由 InfoQ 編輯整理自【 DevRun 開發(fā)者沙龍——華為云深圳金蝶專場】中張少偉老師的分享。
1.如何做好 IoT 數(shù)據(jù)分析
物聯(lián)網(wǎng)數(shù)據(jù)主要是指傳感器和設(shè)備發(fā)過來的數(shù)據(jù)。這些數(shù)據(jù)一部分是對現(xiàn)實環(huán)境參數(shù)的采集值,一部分是設(shè)備的一些常規(guī)信息值,比如:狀態(tài)、故障信息、錯誤代碼、運(yùn)行情況等。物聯(lián)網(wǎng)數(shù)據(jù)在任何情況下都會產(chǎn)生數(shù)據(jù),無需人為參與就會不斷涌現(xiàn)出新的數(shù)據(jù),其數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于傳統(tǒng)業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。這就使得企業(yè)經(jīng)常面臨高成本的數(shù)據(jù)存儲、數(shù)據(jù)處理環(huán)節(jié)低效、低質(zhì)量的數(shù)據(jù)等問題,那么該如何對這些大量的、源源不斷的 IoT 數(shù)據(jù)做好分析呢?
華為云提出了四點(diǎn)解決方案:
構(gòu)建資產(chǎn)模型是充分“理解”物聯(lián)網(wǎng)數(shù)據(jù)、構(gòu)建數(shù)字孿生的基礎(chǔ)
數(shù)字孿生,是充分利用物理模型、傳感器更新、運(yùn)行歷史等數(shù)據(jù),集成多學(xué)科、多物理量、多尺度、多概率的仿真過程,在虛擬空間中完成映射,從而反映相對應(yīng)的實體裝備的全生命周期過程。簡單來說,數(shù)字孿生就是對物理世界進(jìn)行數(shù)字化的實時映射。
那么如何打通物理世界與數(shù)字世界的關(guān)聯(lián),如何更好地理解設(shè)備從而快捷高效地分析數(shù)據(jù),成為物聯(lián)網(wǎng)企業(yè)急需的基礎(chǔ)業(yè)務(wù)。張少偉認(rèn)為,構(gòu)建資產(chǎn)模型是充分“理解”物聯(lián)網(wǎng)數(shù)據(jù)的基礎(chǔ),現(xiàn)實世界的設(shè)備不是離散的,而是具有空間、組織、人等復(fù)雜關(guān)系與上下文存在的。
以智能樓宇的行業(yè)開發(fā)為例,在實際應(yīng)用開發(fā)中,由于每個樓宇、樓層的設(shè)備為離散的物理設(shè)備,如果需要按照樓宇、樓層等為單位進(jìn)行統(tǒng)計并監(jiān)控設(shè)備,就需要對樓宇、設(shè)備之間的關(guān)系進(jìn)行標(biāo)注關(guān)聯(lián)。于是可以將 IoT 數(shù)據(jù)放置于一個上下文關(guān)系中理解,將數(shù)據(jù)以下圖所示的層次結(jié)構(gòu)管理再去做數(shù)據(jù)分析。這樣之前 ID 為 XXX 的溫度傳感器讀數(shù)多少,在建模后可以直接用“302 房間的溫度多少?”來表達(dá)。
物聯(lián)網(wǎng)數(shù)據(jù)處理的關(guān)鍵是對時序數(shù)據(jù)的處理
物聯(lián)網(wǎng)數(shù)據(jù)具備顯著的時序特征:按照時間維度上報、存儲、查詢數(shù)據(jù)。因此在做物聯(lián)網(wǎng)數(shù)據(jù)分析時,要對時序數(shù)據(jù)做充分的考慮,比如某些物聯(lián)網(wǎng)設(shè)備可能產(chǎn)生巨量數(shù)據(jù),最大限度的壓縮是減少成本的直接手段;怎樣滿足海量設(shè)備高并發(fā),實時寫入的要求;面對長時間積累的物聯(lián)網(wǎng)數(shù)據(jù),如何滿足高性能查詢,特別是經(jīng)常做時間維度的聚合查詢;以及在時間的維度上對海量的物聯(lián)網(wǎng)產(chǎn)生的時序數(shù)據(jù)做時間維度的查詢計算等。
將數(shù)據(jù)時效性分層處理,獲得綜合處理效率最大化
在數(shù)據(jù)接入后,可以將物聯(lián)網(wǎng)數(shù)據(jù)總結(jié)為冷數(shù)據(jù)、熱數(shù)據(jù)、溫數(shù)據(jù)。冷數(shù)據(jù)是對于離線類不經(jīng)常訪問的歸檔數(shù)據(jù),在需要時對數(shù)據(jù)做批處理;熱數(shù)據(jù)是需要被計算節(jié)點(diǎn)實時處理和分析的數(shù)據(jù),對時效性非常敏感;溫數(shù)據(jù)是近期需要頻繁處理的數(shù)據(jù)。將這些數(shù)據(jù)進(jìn)行如下圖所示的分層處理,以實現(xiàn)綜合處理的效率最大化。
高效的數(shù)據(jù)清洗,為數(shù)據(jù)分析輸入高質(zhì)量的數(shù)據(jù)
在做物聯(lián)網(wǎng)分析時,因為物聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量的問題,物聯(lián)網(wǎng)數(shù)據(jù)清洗是一項重要的環(huán)節(jié),如下圖所示。物聯(lián)網(wǎng)數(shù)據(jù)中,經(jīng)常出現(xiàn)一些典型的問題,比如缺值、數(shù)據(jù)的異常跳變、重復(fù)數(shù)據(jù)、格式差異、噪音干擾等,數(shù)據(jù)清洗環(huán)節(jié)可以幫助數(shù)據(jù)分析的開發(fā)者改善數(shù)據(jù)質(zhì)量。此外,在做數(shù)據(jù)清洗的過程中,有兩點(diǎn)非常重要,第一個是實時性,上文提到物聯(lián)網(wǎng)數(shù)據(jù)實時性要求比較高,這里同樣希望可以進(jìn)行實時的數(shù)據(jù)清洗;另外數(shù)據(jù)清洗可以適應(yīng) IoT 非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)特征,通過清洗再提供相對高質(zhì)量的數(shù)據(jù)。
2.華為云 IoT 一站式物聯(lián)網(wǎng)數(shù)據(jù)分析服務(wù)——IoTA
基于以上四點(diǎn),華為云推出以資產(chǎn)模型為驅(qū)動的一站式物聯(lián)網(wǎng)數(shù)據(jù)分析服務(wù)——IoTA,基于物聯(lián)網(wǎng)資產(chǎn)模型,整合大數(shù)據(jù)分析領(lǐng)域的最佳實踐,實現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)集成、清洗、存儲、分析、可視化,為開發(fā)者打造一站式數(shù)據(jù)開發(fā)體驗,并與華為云物聯(lián)網(wǎng)相關(guān)云服務(wù)(比如設(shè)備接入)無縫對接,降低開發(fā)門檻,縮短開發(fā)周期,快速實現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)價值變現(xiàn)。結(jié)構(gòu)如下圖所示。
左邊是兩種類型的數(shù)據(jù)源,一種是 IoT 設(shè)備實時采集的物聯(lián)網(wǎng)數(shù)據(jù),實時數(shù)據(jù)源;另一種是 IoT 子系統(tǒng)中需要批量導(dǎo)入的數(shù)據(jù)。
中間是華為云的 IoT 數(shù)據(jù)分析服務(wù) IoTA,大概分為幾個板塊:首先是數(shù)據(jù)清洗的功能板塊,通過 Data Pipeline 即數(shù)據(jù)管道實現(xiàn),能夠把數(shù)據(jù)從管道里面進(jìn)行相應(yīng)的處理,并提供了一些清洗算子,例如轉(zhuǎn)換、刪除、去重、插值、降噪等,將原始數(shù)據(jù)變?yōu)楦哔|(zhì)量數(shù)據(jù)。為了降低數(shù)據(jù)清洗開發(fā)的難度,華為云 IoTA 提供圖形化的 IDE 環(huán)境,開發(fā)者通過簡單的拖拽即可完成。其次是溫冷分層存儲功能和資產(chǎn)模型。IoTA 的溫冷分層存儲集成了時序和對象存儲,幫助開發(fā)者以分層的方式管理數(shù)據(jù)。資產(chǎn)模型功能可以讓開發(fā)者快速地進(jìn)行建模,描述物理空間中的對象,一旦模型構(gòu)建起來,后面就可以基于該模型進(jìn)行相應(yīng)的數(shù)據(jù)分析。右邊是數(shù)據(jù)分析板塊,華為云 IoTA 集成了時序分析、流分析以及離線分析,提供相應(yīng)的計算引擎,最后是提供面向特定行業(yè)的行業(yè)分析套件,提供面向行業(yè)場景化的分析能力封裝。
需要強(qiáng)調(diào)的是,華為云 IoTA 具備五個關(guān)鍵價值:
簡化數(shù)據(jù)開發(fā)過程,降低門檻,加速業(yè)務(wù)上線
之前,數(shù)據(jù)開發(fā)過程的技術(shù)門檻較高,很多物聯(lián)網(wǎng)領(lǐng)域的中小企業(yè)因為缺乏專業(yè)數(shù)據(jù)分析領(lǐng)域的人才,實施起來較為困難,比如應(yīng)該選擇什么樣的數(shù)據(jù)平臺架構(gòu)設(shè)計?Lamda or Kappa or 其他 ?公有云上的大數(shù)據(jù) PaaS 服務(wù)琳瑯滿目,選擇哪些組件最適合我的 IoT 項目呢?在這個過程中,華為云 IoTA 提供了一站式的物聯(lián)網(wǎng)數(shù)據(jù)分析,讓開發(fā)者做到開箱即用,包括數(shù)據(jù)集成,數(shù)據(jù)清洗,數(shù)據(jù)存儲,數(shù)據(jù)建模,數(shù)據(jù)分析,數(shù)據(jù)可視化,整個過程縮短開發(fā)周期 40% 以上;在技術(shù)選型上,IoTA 充分考慮當(dāng)前技術(shù)趨勢,利用比如存算分離,孿生建模,Serverless,實時清洗等技術(shù),使用戶無需感知復(fù)雜技術(shù),減少高端技術(shù)人員雇傭費(fèi)用。
通過資產(chǎn)建模,將 IoT 數(shù)據(jù)轉(zhuǎn)化為有語義的數(shù)據(jù)
區(qū)別于公有云通用類大數(shù)據(jù)分析相關(guān)服務(wù),華為云 IoT 物聯(lián)網(wǎng)數(shù)據(jù)分析服務(wù)與資產(chǎn)模型深度整合,以 Digital Twin 資產(chǎn)模型為中心驅(qū)動數(shù)據(jù)分析,開發(fā)者可以直接使用統(tǒng)一的物聯(lián)網(wǎng)模型數(shù)據(jù),大大提升數(shù)據(jù)分析的效率。通過構(gòu)建物與物,物與空間,物與人等復(fù)雜關(guān)系,將物聯(lián)網(wǎng)數(shù)據(jù)置于模型的“上下文”中去理解;通過“IoT+ 資產(chǎn)模型”,在數(shù)字世界中構(gòu)建與物理世界準(zhǔn)實時同步的數(shù)字孿生;基于模型抽象,為數(shù)據(jù)分析提供面向業(yè)務(wù)的接口封裝。
其具備四點(diǎn)核心功能:1. 利用樹狀層級結(jié)構(gòu)描述復(fù)雜物理對象的內(nèi)在關(guān)系,比如空間關(guān)系,組合關(guān)系,上下游關(guān)系等;2. 虛測點(diǎn)支持豐富的計算算子,比如四則運(yùn)算,科學(xué)計數(shù)法,三角函數(shù),滑窗,流計算等;3. 支持定義資產(chǎn)模板,快速復(fù)制;4. 所見即所得的圖形化編輯方式,簡化復(fù)雜資產(chǎn)開發(fā)難度。
實時數(shù)據(jù)清洗,改善物聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量
如下圖所示為華為云 IoTA 的數(shù)據(jù)管道,在這個數(shù)據(jù)管道中,主要包括五個功能。第一,提供圖形化的開發(fā)環(huán)境,拖拽即可完成數(shù)據(jù)清洗和預(yù)處理;第二,基于流計算引擎,滿足對 IoT 數(shù)據(jù)處理高實時性要求;第三,含有豐富的 IoT 清洗算子(10+),可以應(yīng)對各種 IoT 數(shù)據(jù)問題;第四,具備 IoT 數(shù)據(jù)質(zhì)量評估系統(tǒng),為數(shù)據(jù)質(zhì)量打分;第五,靈活的數(shù)據(jù)流轉(zhuǎn)控制,滿足各種數(shù)據(jù)分析應(yīng)用場景的需要。
分層的 IoT 數(shù)據(jù)存儲機(jī)制,降低數(shù)據(jù)存儲和管理成本
華為云 IoTA 將數(shù)據(jù)存儲分為溫數(shù)據(jù)存儲和冷數(shù)據(jù)存儲。溫數(shù)據(jù)存儲采用適用物聯(lián)網(wǎng)數(shù)據(jù)特征的時序數(shù)據(jù)庫技術(shù),基于 SSD 存儲介質(zhì),滿足 ms 級數(shù)據(jù)查詢要求;冷數(shù)據(jù)存儲采用可靠安全的對象存儲,價格低廉,并結(jié)合 IoTA 離線分析,輕松處理 PB 級數(shù)據(jù)。另外,用戶在管理溫冷存儲時,可以結(jié)合自己的業(yè)務(wù)需要,只需設(shè)定老化周期,就可進(jìn)行溫數(shù)據(jù)存儲到冷數(shù)據(jù)存儲的自動轉(zhuǎn)存,把數(shù)據(jù)管理好。
面向物聯(lián)網(wǎng)實時數(shù)據(jù)的全面優(yōu)化
針對實時數(shù)據(jù),華為云 IoTA 服務(wù)對數(shù)據(jù)寫入、數(shù)據(jù)存儲、數(shù)據(jù)建模、數(shù)據(jù)洞察等模塊都做了優(yōu)化。在數(shù)據(jù)寫入模塊中,華為云 IoTA 支持海量時間線,并按時間線做 Hash Partition,所有 Shard 節(jié)點(diǎn)并行寫入,Shard 按照數(shù)據(jù)量自動分裂,同時單實例支持超 10 萬時間線,最大億級時間線。在數(shù)據(jù)存儲中,華為云 IoTA 提供列式存儲,不同數(shù)據(jù)類型(如時間類型,浮點(diǎn)型)采用不同壓縮算法,相比開源 OpenTSDB 壓縮率提升 10 倍。在數(shù)據(jù)建模模塊中,華為云 IoTA 支持按資產(chǎn)模型數(shù)據(jù)格式入庫存儲,并按模型層次快捷檢索測點(diǎn)時序數(shù)據(jù)。最后在數(shù)據(jù)洞察模塊中,華為云 IoTA 支持在線時序數(shù)據(jù)透視,支持折線圖、堆積圖、散點(diǎn)圖多種展現(xiàn)形式,時間軸、特定周期、定義功能齊全,便捷選擇時間段數(shù)據(jù),還可進(jìn)行多種數(shù)據(jù)聚合方式展示,如最大值、最小值、平均值等。
3.華為云 IoTA 應(yīng)用實例
智慧倉儲實時分析
如下圖所示,在倉庫的進(jìn)出庫管理中,基于數(shù)據(jù)分析服務(wù)的建模能力與實時分析,利用華為公有云 ModelArts 進(jìn)行 AI 推理計算,并與 RFID 讀寫器設(shè)備配合,對 RFID 數(shù)據(jù)流進(jìn)行識別檢測,可實現(xiàn)秒級判斷出貨物在進(jìn)出庫過程中的進(jìn)出方向,繼而可自動與貨單進(jìn)行校對,實時告知倉庫管理人員進(jìn)出貨物的情況。
產(chǎn)線數(shù)字化
下圖所示為我國某一鋼廠基于華為云的能力進(jìn)行的產(chǎn)線數(shù)字化項目,即產(chǎn)線的數(shù)字孿生。通過 IoTA 服務(wù)對各個工藝環(huán)節(jié)建模,幫助其實現(xiàn)質(zhì)量分析 。在該場景下做產(chǎn)品的質(zhì)量分析面臨的一個關(guān)鍵環(huán)節(jié)就是時空對齊,該如何理解資產(chǎn)建模幫助構(gòu)建時空關(guān)系的映射呢?想象一個軋件是一個很長的鋼板,而比如這個鋼板在偏移兩百米的空間位置上有質(zhì)量缺陷,那么我們需要知道為什么該區(qū)域質(zhì)量比較差,產(chǎn)線的各工藝環(huán)節(jié)在處理該區(qū)域的時刻,當(dāng)時的工藝參數(shù)分別都是什么?這就是一個比較復(fù)雜的時空關(guān)系匹配問題。華為云 IoTA 對產(chǎn)線進(jìn)行建模,描述產(chǎn)線這一復(fù)雜的物理對象,將物理空間中的時空關(guān)系在數(shù)字世界中進(jìn)行建模,繼而給應(yīng)用層開放具備語義的數(shù)據(jù),幫助應(yīng)用層進(jìn)一步的數(shù)據(jù)分析。
4.最后
隨著 5G 應(yīng)用的持續(xù)深化,物聯(lián)網(wǎng)之間的連接將變得更加緊密。然而物聯(lián)網(wǎng)數(shù)據(jù)本身價值密度小、數(shù)據(jù)體量大、數(shù)據(jù)時效性高、數(shù)據(jù)質(zhì)量低等特點(diǎn),使得物聯(lián)網(wǎng)數(shù)據(jù)分析面臨著諸多的關(guān)鍵挑戰(zhàn),很難真正為行業(yè)所用。而這,也一直正是華為云 IoT 所致力于解決的問題。
7月25日,DevRun 開發(fā)者沙龍華為云西安專場精彩繼續(xù),屆時華為云多位資深技術(shù)專家將就 GaussDB 企業(yè)數(shù)據(jù)庫、云端 IoT 應(yīng)用、云平臺低代碼應(yīng)用開發(fā)、云 API 助力生態(tài)建設(shè)和云端零代碼 AI 開發(fā)五個主題做深度分享。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
