泛在電力物聯(lián)網(wǎng)即將落地，如何應(yīng)對(duì)數(shù)據(jù)處理難題？

原標(biāo)題：泛在電力物聯(lián)網(wǎng)即將落地，如何應(yīng)對(duì)數(shù)據(jù)處理難題？

今年能源行業(yè)有個(gè)熱詞是“泛在電力物聯(lián)網(wǎng)”，這是國家電網(wǎng)公司推進(jìn)“三型兩網(wǎng)”建設(shè)的重要內(nèi)容和關(guān)鍵環(huán)節(jié)。按照規(guī)劃，到2021年初步建成泛在電力物聯(lián)網(wǎng)，基本實(shí)現(xiàn)業(yè)務(wù)協(xié)同和數(shù)據(jù)貫通；到2024年，全面實(shí)現(xiàn)業(yè)務(wù)協(xié)同、數(shù)據(jù)貫通和統(tǒng)一物聯(lián)管理，形成共建共治共享的能源互聯(lián)網(wǎng)生態(tài)圈。

當(dāng)前，業(yè)內(nèi)紛紛開展對(duì)泛在電力物聯(lián)網(wǎng)的研究和部署工作。百度智能云結(jié)合邊緣計(jì)算、物聯(lián)網(wǎng)、時(shí)序數(shù)據(jù)的技術(shù)特性，對(duì)泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)利用提出了一些看法，供業(yè)內(nèi)參考。

泛在電力物聯(lián)網(wǎng)是什么？

按照業(yè)內(nèi)通用解釋，泛在電力物聯(lián)網(wǎng)是指圍繞電力系統(tǒng)各環(huán)節(jié)，充分應(yīng)用移動(dòng)互聯(lián)、人工智能等現(xiàn)代信息技術(shù)、先進(jìn)通信技術(shù)，實(shí)現(xiàn)電力系統(tǒng)各環(huán)節(jié)萬物互聯(lián)、人機(jī)交互，具有狀態(tài)全面感知、信息高效處理、應(yīng)用便捷靈活特征的智慧服務(wù)系統(tǒng)，包含感知層、網(wǎng)絡(luò)層、平臺(tái)層、應(yīng)用層四層結(jié)構(gòu)。

泛在電力物聯(lián)網(wǎng)的出現(xiàn)，不僅是技術(shù)的變革，更是管理思維的提升和管理理念的創(chuàng)新。泛在電力物聯(lián)網(wǎng)將電力用戶及其設(shè)備、電網(wǎng)企業(yè)及其設(shè)備、發(fā)電企業(yè)及其設(shè)備、供應(yīng)商及其設(shè)備、以及人和物連接起來，產(chǎn)生共享數(shù)據(jù)，為用戶、電網(wǎng)、供應(yīng)商和其他社會(huì)機(jī)構(gòu)提供服務(wù)。

一、如何通過專門的時(shí)序數(shù)據(jù)處理體系應(yīng)對(duì)激增的數(shù)據(jù)量？

未來泛在物聯(lián)網(wǎng)應(yīng)用之后，數(shù)據(jù)量會(huì)激增，需要更專業(yè)的基礎(chǔ)數(shù)據(jù)組件來處理。

以智能電表為例，通常商業(yè)用電都采集96點(diǎn)數(shù)據(jù)：即每天采集96次數(shù)據(jù)，也就是15分鐘發(fā)送一條記錄到云端。以全國智能電表6億臺(tái)來計(jì)算，一天產(chǎn)生的數(shù)據(jù)條數(shù)就會(huì)高達(dá)576億條。

以Hadoop體系為代表的互聯(lián)網(wǎng)大數(shù)據(jù)解決方案，主要處理的是互聯(lián)網(wǎng)領(lǐng)域的非結(jié)構(gòu)化數(shù)據(jù)，比如微博數(shù)據(jù)、搜索記錄、新聞熱點(diǎn)、爬蟲數(shù)據(jù)等，不足以完全應(yīng)對(duì)泛在物聯(lián)網(wǎng)的數(shù)據(jù)特點(diǎn)。

泛在物聯(lián)網(wǎng)的數(shù)據(jù)與傳統(tǒng)大數(shù)據(jù)有如下區(qū)別：

? 時(shí)間序列特征明顯，數(shù)據(jù)只有時(shí)間戳和數(shù)值在變化。

? 數(shù)據(jù)量大，上報(bào)頻率高，并且維度多。

? 寫多讀少，90%以上是寫場(chǎng)景，10%是讀場(chǎng)景。

? 讀寫正交，同一個(gè)時(shí)間點(diǎn)寫入多個(gè)維度數(shù)據(jù)，但通常會(huì)跨時(shí)間范圍來讀取同一個(gè)維度。

? 聚合分析，大量數(shù)據(jù)的聚合值更有意義。

針對(duì)泛在物聯(lián)網(wǎng)數(shù)據(jù)的這些特點(diǎn)，對(duì)系統(tǒng)提出了更高的要求：

? 數(shù)據(jù)要壓縮存儲(chǔ)以節(jié)省成本。

? 高效的寫入性能，且可橫向擴(kuò)展。

? 極高的查詢性能，查詢一段歷史數(shù)據(jù)的聚合值要能秒級(jí)返回。

? 開放融合，與大數(shù)據(jù)平臺(tái)生態(tài)融合以及標(biāo)準(zhǔn)SQL接口，方便集成各種大數(shù)據(jù)應(yīng)用。

通過對(duì)泛在電力物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)的高性能存儲(chǔ)和處理，讓泛在物聯(lián)的數(shù)據(jù)高效處理成為可能，為數(shù)據(jù)的有效利用打下基礎(chǔ)。

二、時(shí)序數(shù)據(jù)治理如何與傳統(tǒng)數(shù)據(jù)治理融合？

在泛在物聯(lián)網(wǎng)的背景下，大量時(shí)序數(shù)據(jù)的產(chǎn)生為傳統(tǒng)數(shù)據(jù)治理也帶來了新的思路。時(shí)序數(shù)據(jù)往往數(shù)據(jù)量大、價(jià)值分散，要充分利用時(shí)序數(shù)據(jù)的特點(diǎn)和優(yōu)勢(shì)，來支撐企業(yè)整體的數(shù)據(jù)治理框架。

時(shí)間序列數(shù)據(jù)大部分通過設(shè)備采集傳輸而得到。因?yàn)閭鞲衅髟O(shè)備及網(wǎng)絡(luò)等原因，在采集、 傳輸?shù)雀鱾€(gè)環(huán)節(jié)都可能會(huì)出現(xiàn)問題，導(dǎo)致數(shù)據(jù)質(zhì)量難以保證，加大了數(shù)據(jù)治理的難度。時(shí)間序列數(shù)據(jù)ETL有異常檢測(cè)、數(shù)據(jù)填充、數(shù)據(jù)質(zhì)量判斷幾個(gè)方面，和傳統(tǒng)數(shù)據(jù)相比多了時(shí)間維度。

舉三個(gè)典型的時(shí)序數(shù)據(jù)處理形式：

? 異常檢測(cè)就是檢測(cè)時(shí)間序列數(shù)據(jù)中的異常數(shù)據(jù)。例如，在幾秒范圍內(nèi)，溫度傳感器不會(huì)報(bào)告差異很大的溫度讀數(shù)，不會(huì)顯示出溫度的劇烈變化。

? 數(shù)據(jù)填充是對(duì)異常值和缺失值根據(jù)周期、趨勢(shì)等進(jìn)行填充。

? 數(shù)據(jù)質(zhì)量判斷是對(duì)上傳時(shí)間序列數(shù)據(jù)進(jìn)行質(zhì)量判斷。數(shù)據(jù)質(zhì)量過差時(shí)，可以及時(shí)讓數(shù)據(jù)上傳方修改問題（如更換傳感器）。

通過對(duì)時(shí)序數(shù)據(jù)的治理和處理，給模型應(yīng)用開發(fā)提供了條件，結(jié)合云端應(yīng)用模型開發(fā)和物聯(lián)網(wǎng)的邊緣計(jì)算，將釋放物聯(lián)網(wǎng)的強(qiáng)大力量。

三、邊緣計(jì)算釋放數(shù)據(jù)價(jià)值

以上兩點(diǎn)對(duì)數(shù)據(jù)的處理只是基礎(chǔ)。隨著邊緣計(jì)算的發(fā)展，云端的模型應(yīng)用已經(jīng)具備在邊緣端運(yùn)行的條件。設(shè)備上報(bào)數(shù)據(jù)到云端處理的傳統(tǒng)物聯(lián)網(wǎng)結(jié)構(gòu)也正在慢慢向“邊云融合”的架構(gòu)融合發(fā)展。

為什么邊緣計(jì)算會(huì)在物聯(lián)網(wǎng)的場(chǎng)景下發(fā)揮這么重要的價(jià)值呢，對(duì)于應(yīng)用開發(fā)者來說，端上開發(fā)有以下幾個(gè)難點(diǎn)：

1、端上的環(huán)境非常復(fù)雜，端上適配難。主要的通信芯片廠家有40多家，主要的控制芯片廠家有20多家，就算是最近剛興起的AI芯片主要廠家也已經(jīng)有10多家，與芯片適配的片上系統(tǒng)也非常復(fù)雜，所以端上適配模型就變得很困難。

2、管理海量設(shè)備和應(yīng)用分發(fā)難。邊緣計(jì)算的場(chǎng)景，不僅僅是設(shè)備管理和上傳數(shù)據(jù)，大量的應(yīng)用都是在云端完成訓(xùn)練和開發(fā)，需要同時(shí)分發(fā)到各個(gè)邊緣側(cè)，那就要有一個(gè)穩(wěn)定的分發(fā)體系來保障。

通過“邊”和“云”的協(xié)同，實(shí)現(xiàn)了“數(shù)據(jù)上行、知識(shí)下行”，實(shí)現(xiàn)更有層次的企業(yè)IT架構(gòu)，特點(diǎn)如下。

? “云上分發(fā)，邊緣執(zhí)行”。邊緣計(jì)算的云上實(shí)現(xiàn)應(yīng)用開發(fā)，通過端云一體框架將應(yīng)用分發(fā)到邊緣執(zhí)行。邊緣計(jì)算已經(jīng)成為物聯(lián)網(wǎng)云平臺(tái)的一部分，通過邊緣計(jì)算，可以降低遠(yuǎn)傳延遲、減少傳輸流量，并且可以允許數(shù)據(jù)臨時(shí)離線，實(shí)現(xiàn)數(shù)據(jù)私有化。

? “云上管理，海量邊緣”。在云端基于物聯(lián)網(wǎng)來進(jìn)行海量邊緣設(shè)備的管理，并且可以進(jìn)行應(yīng)用配置、應(yīng)用分發(fā)和更新、應(yīng)用運(yùn)行監(jiān)控等。

? “邊云協(xié)同，數(shù)據(jù)閉環(huán)”。物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)上傳到云上以后，云上基于海量數(shù)據(jù)實(shí)現(xiàn)應(yīng)用開發(fā)，通過多級(jí)應(yīng)用分發(fā)將應(yīng)用分發(fā)到本地運(yùn)行；本地的應(yīng)用運(yùn)行監(jiān)控又可以將數(shù)據(jù)傳到云端，對(duì)應(yīng)用進(jìn)行自動(dòng)調(diào)優(yōu)，調(diào)優(yōu)后的模型又可以自動(dòng)分發(fā)到本地。完成數(shù)據(jù)與應(yīng)用的閉環(huán)。

舉個(gè)例子，面向電網(wǎng)巡檢視頻分析場(chǎng)景，通過智能邊緣，將機(jī)器視覺模型放置在無人機(jī)上，可以識(shí)別桿塔是否需要維護(hù)，通過端云一體，可以將可用樣本回傳到云端進(jìn)行模型優(yōu)化，并且遠(yuǎn)程升級(jí)優(yōu)化。既降低了視頻的遠(yuǎn)傳帶寬成本，也減少了人工作業(yè)，保障工作人員安全。

小結(jié)：迎接開局之年

2019年是泛在電力物聯(lián)網(wǎng)建設(shè)“三年攻堅(jiān)”戰(zhàn)略突破期的開局之年，我們相信隨著泛在物聯(lián)網(wǎng)的應(yīng)用建設(shè)的不斷加快，基于時(shí)序數(shù)據(jù)+邊緣計(jì)算的技術(shù)將滲透到電力用戶、電網(wǎng)企業(yè)、發(fā)電企業(yè)的各類應(yīng)用中，為全行業(yè)和更多市場(chǎng)主體創(chuàng)造更大的機(jī)遇。

百度智能云也將推進(jìn)解決方案的落地，與業(yè)內(nèi)共建生態(tài)圈，助力泛在電力物聯(lián)網(wǎng)的建設(shè)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。