1.背景概述
寶武裝備智能科技有限公司(以下簡(jiǎn)稱：寶武智維)是中國(guó)寶武設(shè)備智能運(yùn)維專業(yè)化平臺(tái)公司，30 余年始終專注于鋼鐵行業(yè)設(shè)備技術(shù)服務(wù)，逐步打通檢測(cè)、診斷、檢修、制造等設(shè)備服務(wù)環(huán)節(jié)，形成系統(tǒng)解決方案服務(wù)模式，希望為用戶提供穩(wěn)定可靠、智能高效的設(shè)備運(yùn)行保障。
隨著工業(yè)物聯(lián)網(wǎng)的迅速發(fā)展，面向鋼鐵領(lǐng)域設(shè)備的智能運(yùn)維成為大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)重要的應(yīng)用方向之一。鋼鐵產(chǎn)線設(shè)備大型化、復(fù)雜度高，設(shè)備之間相互耦合，現(xiàn)場(chǎng)問(wèn)題定位和修復(fù)難度非常高。同時(shí)，鋼鐵設(shè)備通常處于連續(xù)運(yùn)轉(zhuǎn)狀態(tài)，出現(xiàn)異常對(duì)于產(chǎn)線產(chǎn)能影響可觀，實(shí)現(xiàn)設(shè)備的實(shí)時(shí)性、預(yù)防性維護(hù)對(duì)于保障產(chǎn)線效能、實(shí)現(xiàn)企業(yè)降本增效均十分重要。
為實(shí)現(xiàn)鋼鐵產(chǎn)線設(shè)備智能運(yùn)維這一項(xiàng)極具挑戰(zhàn)的復(fù)雜系統(tǒng)創(chuàng)新工程，寶武智維基于海量工業(yè)時(shí)序數(shù)據(jù)積累及其豐富的應(yīng)用場(chǎng)景，自主構(gòu)建具備低成本、大規(guī)模接入能力的設(shè)備遠(yuǎn)程智能運(yùn)維平臺(tái)，并于 2023 年全面融合國(guó)產(chǎn)時(shí)序數(shù)據(jù)庫(kù) IoTDB，作為該平臺(tái)管理寶武全集團(tuán)時(shí)序數(shù)據(jù)的核心組件。
通過(guò) IoTDB，寶武智維得以“激活”時(shí)序數(shù)據(jù)價(jià)值，大幅提升寶武集團(tuán)、基地側(cè)智能化數(shù)據(jù)寫入、存儲(chǔ)、分析、傳輸性能，并為下游設(shè)備故障排查業(yè)務(wù)場(chǎng)景提供了堅(jiān)實(shí)的數(shù)據(jù)支撐，形成了面向鋼鐵全流程，一個(gè)平臺(tái)、一個(gè)專家系統(tǒng)、一套標(biāo)準(zhǔn)化體系的智能設(shè)備運(yùn)維新模式。
2.選型痛點(diǎn)
在全面接入 IoTDB 之前，寶武智維已經(jīng)經(jīng)過(guò)多年探索，并使用基于 Hadoop 的 HBase 和 OpenTSDB 作為鋼鐵設(shè)備的時(shí)序數(shù)據(jù)管理架構(gòu)。業(yè)務(wù)初期，該架構(gòu)應(yīng)用效果較好，但隨著更多數(shù)據(jù)量的接入，其慢慢成為了制約發(fā)展的底層瓶頸，主要體現(xiàn)在兩個(gè)大方面：“慢”和“難”。
寫入慢：常規(guī)情況下，舊版架構(gòu)勉強(qiáng)能夠達(dá)到寫入性能要求，但后續(xù)業(yè)務(wù)的擴(kuò)張伴隨設(shè)備、數(shù)據(jù)量的激增，結(jié)合基地網(wǎng)絡(luò)資源的有限性，寫入性能逐漸捉襟見肘。如果碰到網(wǎng)絡(luò)斷線等異常場(chǎng)景，往往大量消息、數(shù)據(jù)出現(xiàn)堵塞，網(wǎng)絡(luò)恢復(fù)后需要快速地進(jìn)行消費(fèi)，但舊版架構(gòu)也無(wú)法支撐消費(fèi)速度要求。
查詢慢：寶武集團(tuán)查詢數(shù)據(jù)跨度可能以年為單位，并要求大跨度數(shù)據(jù)實(shí)現(xiàn)查詢秒級(jí)響應(yīng)，而在數(shù)據(jù)量增加后，舊版架構(gòu)僅能實(shí)現(xiàn) 5-30 秒內(nèi)返回，對(duì)于業(yè)務(wù)平臺(tái)使用效果與實(shí)時(shí)監(jiān)控設(shè)備狀態(tài)的目的實(shí)現(xiàn)存在較大影響。
加工慢：數(shù)據(jù)寫入存儲(chǔ)后，需要使用聚合函數(shù)等方法實(shí)現(xiàn)多類數(shù)據(jù)加工，但基于舊版架構(gòu)其速度非常有限，且很容易導(dǎo)致整體數(shù)據(jù)架構(gòu)不穩(wěn)定。
抽取慢、匯聚難：當(dāng)進(jìn)行集團(tuán)-基地?cái)?shù)據(jù)資產(chǎn)整合時(shí)，往往需要不斷地將基地存儲(chǔ)數(shù)據(jù)抽取至集團(tuán)側(cè)。舊版架構(gòu)對(duì)于數(shù)據(jù)的實(shí)時(shí)傳輸支持不足，對(duì)持續(xù)的傳輸過(guò)程穩(wěn)定性影響較大。
清理難：基于舊版架構(gòu)的數(shù)據(jù)清理、刪減主要依靠 TTL，過(guò)程復(fù)雜且靈活度較低。寶武集團(tuán)實(shí)踐時(shí)，曾出現(xiàn)磁盤將滿情況下，定好的數(shù)據(jù)需要寫程序進(jìn)行導(dǎo)出，再導(dǎo)回系統(tǒng)的情況，數(shù)據(jù)運(yùn)維工作十分繁瑣。
備份難：龐大的數(shù)據(jù)體量下，基于舊版架構(gòu)的策略化備份實(shí)現(xiàn)非常困難，基本無(wú)法備份，只能選擇部署 3 節(jié)點(diǎn)集群以響應(yīng)備份需求。
耗費(fèi)大量成本獲取的海量高價(jià)值數(shù)據(jù)，卻變成了深不見底的數(shù)據(jù)黑洞。隨著數(shù)據(jù)量不斷增長(zhǎng)，運(yùn)行效率卻無(wú)法提升，數(shù)據(jù)反而成為拖累，下游應(yīng)用系統(tǒng)、團(tuán)隊(duì)的施展空間很低，無(wú)法將數(shù)據(jù)價(jià)值真正轉(zhuǎn)化為業(yè)務(wù)價(jià)值。
因此，寶武智維的時(shí)序數(shù)據(jù)庫(kù)選型標(biāo)準(zhǔn)可以概括為：
能夠?qū)懭牒Ａ坎l(fā)數(shù)據(jù);
能夠用更低成本存儲(chǔ)全量數(shù)據(jù)、高頻數(shù)據(jù);
能夠?qū)崟r(shí)查詢、分析數(shù)據(jù)，實(shí)現(xiàn)高效的數(shù)據(jù)清理與備份;
能夠?qū)崿F(xiàn)集團(tuán)側(cè)-基地側(cè)數(shù)據(jù)實(shí)時(shí)同步、匯聚的易用方案。
3.部署方案
2023 年開始，IoTDB 全面替換 OpenTSDB，成為寶武集團(tuán)時(shí)序數(shù)據(jù)湖的數(shù)據(jù)底座。運(yùn)用 IoTDB 為時(shí)序數(shù)據(jù)管理核心的寶武智維云平臺(tái)，已部署至寶武集團(tuán)全部生產(chǎn)基地，并逐步擴(kuò)展至集團(tuán)外，負(fù)責(zé)接入寶武全集團(tuán)所有基地內(nèi)的所有設(shè)備數(shù)據(jù)，并進(jìn)行在線狀態(tài)監(jiān)測(cè)與設(shè)備智能運(yùn)維業(yè)務(wù)。
目前，寶武智維云全面覆蓋寶武集團(tuán) 21 大生產(chǎn)基地，接入 27 個(gè)子平臺(tái)、60 萬(wàn)以上設(shè)備、240 萬(wàn)以上數(shù)據(jù)項(xiàng)，總數(shù)據(jù)量超 5 PB。平臺(tái)配置規(guī)則超 10 萬(wàn)條，已沉淀智能模型超 40 大類，平臺(tái)用戶數(shù)超 1 萬(wàn)。
從以 IoTDB 進(jìn)行重構(gòu)的全新架構(gòu)來(lái)看，寶武超大規(guī)模分布式數(shù)據(jù)湖由 1 個(gè) E4-IoTDB 集團(tuán)數(shù)據(jù)湖和 N 個(gè) E3-IoTDB 基地?cái)?shù)據(jù)湖集群組成。多個(gè) E3-IoTDB 基地?cái)?shù)據(jù)湖負(fù)責(zé)存儲(chǔ)管理該基地的設(shè)備數(shù)據(jù)，而寶武集團(tuán)層的 E4-IoTDB 數(shù)據(jù)湖主要覆蓋常態(tài)數(shù)據(jù)的降頻存儲(chǔ)和故障相關(guān)數(shù)據(jù)的原始頻率存儲(chǔ)。同時(shí)，集團(tuán)層可以通過(guò)下發(fā)任務(wù)方式，從各個(gè)基地抽取所需數(shù)據(jù)并進(jìn)行存儲(chǔ)，用于模型訓(xùn)練及定制化數(shù)據(jù)任務(wù)。
寶武集團(tuán)與基地之間的數(shù)據(jù)同步方式目前有兩種。第一種為通過(guò) Pipe 使用 IoTDB 自研的時(shí)序數(shù)據(jù)標(biāo)準(zhǔn)文件格式 TsFile 進(jìn)行高效傳輸，不需要數(shù)據(jù)的重新組織和重復(fù)寫入，可實(shí)現(xiàn)數(shù)據(jù)端到端的直接使用。另一種為使用全貫通的 Kafka 數(shù)據(jù)總線進(jìn)行數(shù)據(jù)上傳，能夠滿足寶武各基地及集團(tuán)的數(shù)據(jù)防火墻傳輸要求。
實(shí)現(xiàn)數(shù)據(jù)的高性能寫入、存儲(chǔ)，并打通數(shù)據(jù)抽取、傳輸鏈路后，寶武集團(tuán)成功構(gòu)建了 E4 集團(tuán)數(shù)據(jù)湖與 E3 基地?cái)?shù)據(jù)湖。集團(tuán)數(shù)據(jù)湖包括一個(gè)主庫(kù)、N 個(gè)功能庫(kù)和一個(gè)備份庫(kù)，功能庫(kù)又包括故障特征庫(kù)與 AI 訓(xùn)練庫(kù)。故障特征庫(kù)包括所有基地的設(shè)備故障特征，各基地一天幾十條至幾百條不等的故障事件所涉及到的相關(guān)數(shù)據(jù)均會(huì)上傳并進(jìn)行存儲(chǔ)，方便集團(tuán)集中分析故障趨勢(shì)與原因。各基地?cái)?shù)據(jù)湖則包括一個(gè)主庫(kù)、一個(gè)功能庫(kù)和一個(gè)備份庫(kù)，功能庫(kù)主要做為同步庫(kù)使用。
使用 IoTDB 后，寶武集團(tuán)時(shí)序數(shù)據(jù)管理效果提升非常明顯，實(shí)現(xiàn)性能提升 1 個(gè)量級(jí)，存儲(chǔ)成本大幅下降，運(yùn)維手段豐富，數(shù)據(jù)資產(chǎn)匯聚，AI 模型訓(xùn)練加速等有效成果。
存儲(chǔ)成本方面，通過(guò)實(shí)踐，基于 IoTDB 可實(shí)現(xiàn) 10 倍數(shù)據(jù)壓縮比，并能夠用少量服務(wù)器存儲(chǔ)集團(tuán)規(guī)模數(shù)據(jù)。對(duì)于鋼鐵領(lǐng)域最重要的數(shù)據(jù)類型之一——信號(hào)數(shù)據(jù)的存儲(chǔ)成本也得到大幅降低。
運(yùn)維手段方面，相比舊版架構(gòu)僵化、暴力的數(shù)據(jù)清洗處理方式，寶武集團(tuán)成功基于 IoTDB 實(shí)現(xiàn)備份、清理的靈活策略化，能夠積累豐富的指標(biāo)、監(jiān)測(cè)信息，幫助運(yùn)維人員實(shí)現(xiàn)對(duì)設(shè)備狀態(tài)的更好理解。
性能指標(biāo)方面，IoTDB 寫入速度可實(shí)現(xiàn)千萬(wàn)點(diǎn)/秒，可以長(zhǎng)時(shí)間穩(wěn)定寫入高頻數(shù)據(jù);基地上報(bào)的秒級(jí)數(shù)據(jù)及邊緣側(cè)上報(bào)的毫秒級(jí)數(shù)據(jù)，一年數(shù)據(jù)量查詢可實(shí)現(xiàn)秒級(jí)返回，并能夠覆蓋長(zhǎng)達(dá)十年、數(shù)百萬(wàn)點(diǎn)的設(shè)備數(shù)據(jù)降采樣分析，性能獲得用戶認(rèn)可。同時(shí)，IoTDB 提供了豐富的聚合函數(shù)，有效拓寬寶武集團(tuán)的數(shù)據(jù)加工場(chǎng)景，加速原始數(shù)據(jù)加工，并通過(guò)上述數(shù)據(jù)傳輸方案提升數(shù)據(jù)匯聚速度，方便數(shù)據(jù)真正形成模型，實(shí)現(xiàn)規(guī)?；\(yùn)用。
與前文中的選型要求對(duì)照可見，IoTDB 在寫入、存儲(chǔ)、查詢、分析、運(yùn)維、匯聚等方向，均契合了寶武智維的時(shí)序數(shù)據(jù)庫(kù)選型標(biāo)準(zhǔn)，從根源處解決了 OpenTSDB 與 HBase 架構(gòu)的多個(gè)性能與功能實(shí)踐痛點(diǎn)。
4.應(yīng)用場(chǎng)景舉例
場(chǎng)景一：波形信號(hào)數(shù)據(jù)處理
鋼鐵行業(yè)中，設(shè)備實(shí)時(shí)上報(bào)的振動(dòng)波形數(shù)據(jù)是最可靠的時(shí)序數(shù)據(jù)資產(chǎn)之一，能夠有效反映設(shè)備的運(yùn)行狀態(tài)。寶武集團(tuán)的振動(dòng)波形數(shù)據(jù)一般分為兩類，一類是通過(guò) PLC、DCS 采集上報(bào)的工藝量數(shù)據(jù)，一類是通過(guò)加裝大量傳感器，如溫振傳感器采集上報(bào)的振動(dòng)波形數(shù)據(jù)。各類傳感器安裝數(shù)量龐大，因此后一類數(shù)據(jù)的體量十分可觀。
舊版架構(gòu)中，以上兩類數(shù)據(jù)基本通過(guò)對(duì)象存儲(chǔ)方式存入 HBase，存儲(chǔ)量占比在某些基地達(dá)到 1:20。一個(gè)基地的數(shù)據(jù)中，20 份為振動(dòng)數(shù)據(jù)，1 份為工藝量數(shù)據(jù)，可見振動(dòng)傳感器上傳的時(shí)序數(shù)據(jù)體量十分龐大，存儲(chǔ)管理的成本，以及后續(xù)使用處理的難度可想而知。
引入 IoTDB之后，參考 IoTDB 團(tuán)隊(duì)所在的天謀科技技術(shù)人員的建議，寶武智維不再將振動(dòng)波形數(shù)據(jù)作為對(duì)象進(jìn)行存儲(chǔ)，而是直接將數(shù)據(jù)拆散之后，以納秒級(jí)精度存儲(chǔ)到 IoTDB，這樣能夠有效提升該類數(shù)據(jù)的存儲(chǔ)壓縮比，大幅降低其存儲(chǔ)成本。同時(shí)，存儲(chǔ)模式發(fā)生變化后，應(yīng)用模式也隨之發(fā)生變化。寶武智維可以直接在 IoTDB 層面對(duì)振動(dòng)波形數(shù)據(jù)進(jìn)行處理，為后續(xù)的數(shù)據(jù)加工工作提供了有力支撐。寶武智維表示該項(xiàng)改良是“非常顛覆性的設(shè)計(jì)”。
場(chǎng)景二：結(jié)合 AI 的創(chuàng)新應(yīng)用
IoTDB 有效解決了數(shù)據(jù)的抽取、存儲(chǔ)、處理、上傳問(wèn)題后，豐富的時(shí)序數(shù)據(jù)資產(chǎn)被徹底激活，寶武智維也就能夠拓寬目前應(yīng)用數(shù)據(jù)的模式與發(fā)展空間。其 AI 團(tuán)隊(duì)成功從“找數(shù)據(jù)”改變?yōu)?ldquo;要數(shù)據(jù)”，能夠發(fā)散更多有想象力的創(chuàng)新應(yīng)用場(chǎng)景，面向多設(shè)備、長(zhǎng)周期數(shù)據(jù)進(jìn)行進(jìn)一步歸納與分析。衍生場(chǎng)景包括但不限于：
通用數(shù)據(jù)集的自動(dòng)構(gòu)建、自動(dòng)標(biāo)簽化：基于反饋(誤報(bào)和漏報(bào)) 和閉環(huán)進(jìn)行標(biāo)簽化。
同類故障的數(shù)據(jù)集的構(gòu)建：故障記錄和多源數(shù)據(jù)的匹配映射，基于故障記錄和故障匹配的數(shù)據(jù)對(duì)故障類型、故障程度進(jìn)行標(biāo)簽化。
同類設(shè)備的數(shù)據(jù)集的構(gòu)建：同類設(shè)備數(shù)據(jù)的歸并和映射，基于設(shè)備基準(zhǔn)、設(shè)備參數(shù)信息，對(duì)同類、同部件同型號(hào)進(jìn)行匹配和標(biāo)簽化。
振動(dòng)信號(hào)的特征提取：時(shí)域信號(hào)分段特征的提取、長(zhǎng)周期信號(hào)特征的提取、頻域特征的提取。
趨勢(shì)特征的提?。洪L(zhǎng)周期數(shù)據(jù)特征的提取，月度或年度數(shù)據(jù)特征的提取;生產(chǎn)周期的劃分，周期性生產(chǎn)過(guò)程特征的提取。
數(shù)據(jù)對(duì)齊和數(shù)據(jù)融合：工況數(shù)據(jù)的匹配，多源異構(gòu)數(shù)據(jù)(時(shí)序、文本、人工輸入數(shù)據(jù))的匹配。
文本對(duì)象數(shù)據(jù)集的構(gòu)建：文本數(shù)據(jù)信息的抽取、實(shí)體的匹配。
AI 平臺(tái)與 IoTDB 的雙向通訊：數(shù)據(jù)集映射、抽取至 AI 平臺(tái)，實(shí)現(xiàn)存儲(chǔ)處理與深度分析的一體化融合。
5.未來(lái)展望
寶武智維計(jì)劃未來(lái)在與 IoTDB 深度融合的更多方面進(jìn)行研究，包括但不限于：
視圖功能：切實(shí)結(jié)合業(yè)務(wù)需求，實(shí)現(xiàn)測(cè)點(diǎn)數(shù)據(jù)扁平化。圍繞生產(chǎn)、質(zhì)量、運(yùn)維等不同角度，結(jié)合 IoTDB 自帶的時(shí)序數(shù)據(jù)樹狀模型，運(yùn)用視圖功能組織、復(fù)用數(shù)據(jù)資產(chǎn)，從業(yè)務(wù)方向組織成不同視角的數(shù)據(jù)樹狀架構(gòu)，進(jìn)一步降低團(tuán)隊(duì)運(yùn)維學(xué)習(xí)成本。
中臺(tái)功能：基于 IoTDB 進(jìn)行通用數(shù)據(jù) API 與專用數(shù)據(jù) API 的研發(fā)，形成數(shù)據(jù)資產(chǎn)管理，并在該數(shù)據(jù)中臺(tái)之上進(jìn)行 APP 輕量化，以及數(shù)據(jù)可視化的自主探索。
UDF 函數(shù)：目前，IoTDB 主要用于構(gòu)建寶武智維平臺(tái)中的數(shù)據(jù)存儲(chǔ)、處理底座，未來(lái)希望針對(duì)振動(dòng)波形、信號(hào)數(shù)據(jù)、長(zhǎng)周期趨勢(shì)分析等關(guān)鍵場(chǎng)景，通過(guò)研發(fā) UDF 自定義函數(shù)并內(nèi)嵌至數(shù)據(jù)湖中，替代原有的外掛 Python 程序調(diào)用，結(jié)合數(shù)據(jù) API、AI 模型，全面提升寶武集團(tuán)工業(yè)數(shù)據(jù)應(yīng)用分析能力。
AINode：通過(guò)引入 IoTDB 內(nèi)生支持的機(jī)器學(xué)習(xí)智能節(jié)點(diǎn)，替代原有的數(shù)據(jù)再抽取、單獨(dú)外部訓(xùn)練模式，支持使用已有模型直接在 IoTDB 內(nèi)部進(jìn)行推理，針對(duì)鋼鐵領(lǐng)域數(shù)據(jù)預(yù)測(cè)、異常檢測(cè)等方面進(jìn)行預(yù)制模型訓(xùn)練和加載，達(dá)到無(wú)需導(dǎo)出數(shù)據(jù)，直接使用內(nèi)置模型進(jìn)行數(shù)據(jù)推理的目標(biāo)，實(shí)現(xiàn)端到端的數(shù)據(jù)深度分析。
以數(shù)據(jù)為牽引，以平臺(tái)化為手段，IoTDB 將繼續(xù)與寶武智維深度合作，更好地串聯(lián)產(chǎn)業(yè)鏈上下游數(shù)據(jù)資源，共建鋼鐵生態(tài)圈智能運(yùn)維服務(wù)生態(tài)，讓數(shù)據(jù)賦能鋼鐵產(chǎn)業(yè)價(jià)值。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
