1.背景概述
寶武裝備智能科技有限公司(以下簡稱:寶武智維)是中國寶武設備智能運維專業(yè)化平臺公司,30 余年始終專注于鋼鐵行業(yè)設備技術服務,逐步打通檢測、診斷、檢修、制造等設備服務環(huán)節(jié),形成系統(tǒng)解決方案服務模式,希望為用戶提供穩(wěn)定可靠、智能高效的設備運行保障。
隨著工業(yè)物聯(lián)網(wǎng)的迅速發(fā)展,面向鋼鐵領域設備的智能運維成為大數(shù)據(jù)、人工智能等先進技術重要的應用方向之一。鋼鐵產(chǎn)線設備大型化、復雜度高,設備之間相互耦合,現(xiàn)場問題定位和修復難度非常高。同時,鋼鐵設備通常處于連續(xù)運轉狀態(tài),出現(xiàn)異常對于產(chǎn)線產(chǎn)能影響可觀,實現(xiàn)設備的實時性、預防性維護對于保障產(chǎn)線效能、實現(xiàn)企業(yè)降本增效均十分重要。
為實現(xiàn)鋼鐵產(chǎn)線設備智能運維這一項極具挑戰(zhàn)的復雜系統(tǒng)創(chuàng)新工程,寶武智維基于海量工業(yè)時序數(shù)據(jù)積累及其豐富的應用場景,自主構建具備低成本、大規(guī)模接入能力的設備遠程智能運維平臺,并于 2023 年全面融合國產(chǎn)時序數(shù)據(jù)庫 IoTDB,作為該平臺管理寶武全集團時序數(shù)據(jù)的核心組件。
通過 IoTDB,寶武智維得以“激活”時序數(shù)據(jù)價值,大幅提升寶武集團、基地側智能化數(shù)據(jù)寫入、存儲、分析、傳輸性能,并為下游設備故障排查業(yè)務場景提供了堅實的數(shù)據(jù)支撐,形成了面向鋼鐵全流程,一個平臺、一個專家系統(tǒng)、一套標準化體系的智能設備運維新模式。
2.選型痛點
在全面接入 IoTDB 之前,寶武智維已經(jīng)經(jīng)過多年探索,并使用基于 Hadoop 的 HBase 和 OpenTSDB 作為鋼鐵設備的時序數(shù)據(jù)管理架構。業(yè)務初期,該架構應用效果較好,但隨著更多數(shù)據(jù)量的接入,其慢慢成為了制約發(fā)展的底層瓶頸,主要體現(xiàn)在兩個大方面:“慢”和“難”。
寫入慢:常規(guī)情況下,舊版架構勉強能夠達到寫入性能要求,但后續(xù)業(yè)務的擴張伴隨設備、數(shù)據(jù)量的激增,結合基地網(wǎng)絡資源的有限性,寫入性能逐漸捉襟見肘。如果碰到網(wǎng)絡斷線等異常場景,往往大量消息、數(shù)據(jù)出現(xiàn)堵塞,網(wǎng)絡恢復后需要快速地進行消費,但舊版架構也無法支撐消費速度要求。
查詢慢:寶武集團查詢數(shù)據(jù)跨度可能以年為單位,并要求大跨度數(shù)據(jù)實現(xiàn)查詢秒級響應,而在數(shù)據(jù)量增加后,舊版架構僅能實現(xiàn) 5-30 秒內返回,對于業(yè)務平臺使用效果與實時監(jiān)控設備狀態(tài)的目的實現(xiàn)存在較大影響。
加工慢:數(shù)據(jù)寫入存儲后,需要使用聚合函數(shù)等方法實現(xiàn)多類數(shù)據(jù)加工,但基于舊版架構其速度非常有限,且很容易導致整體數(shù)據(jù)架構不穩(wěn)定。
抽取慢、匯聚難:當進行集團-基地數(shù)據(jù)資產(chǎn)整合時,往往需要不斷地將基地存儲數(shù)據(jù)抽取至集團側。舊版架構對于數(shù)據(jù)的實時傳輸支持不足,對持續(xù)的傳輸過程穩(wěn)定性影響較大。
清理難:基于舊版架構的數(shù)據(jù)清理、刪減主要依靠 TTL,過程復雜且靈活度較低。寶武集團實踐時,曾出現(xiàn)磁盤將滿情況下,定好的數(shù)據(jù)需要寫程序進行導出,再導回系統(tǒng)的情況,數(shù)據(jù)運維工作十分繁瑣。
備份難:龐大的數(shù)據(jù)體量下,基于舊版架構的策略化備份實現(xiàn)非常困難,基本無法備份,只能選擇部署 3 節(jié)點集群以響應備份需求。
耗費大量成本獲取的海量高價值數(shù)據(jù),卻變成了深不見底的數(shù)據(jù)黑洞。隨著數(shù)據(jù)量不斷增長,運行效率卻無法提升,數(shù)據(jù)反而成為拖累,下游應用系統(tǒng)、團隊的施展空間很低,無法將數(shù)據(jù)價值真正轉化為業(yè)務價值。
因此,寶武智維的時序數(shù)據(jù)庫選型標準可以概括為:
能夠寫入海量并發(fā)數(shù)據(jù);
能夠用更低成本存儲全量數(shù)據(jù)、高頻數(shù)據(jù);
能夠實時查詢、分析數(shù)據(jù),實現(xiàn)高效的數(shù)據(jù)清理與備份;
能夠實現(xiàn)集團側-基地側數(shù)據(jù)實時同步、匯聚的易用方案。
3.部署方案
2023 年開始,IoTDB 全面替換 OpenTSDB,成為寶武集團時序數(shù)據(jù)湖的數(shù)據(jù)底座。運用 IoTDB 為時序數(shù)據(jù)管理核心的寶武智維云平臺,已部署至寶武集團全部生產(chǎn)基地,并逐步擴展至集團外,負責接入寶武全集團所有基地內的所有設備數(shù)據(jù),并進行在線狀態(tài)監(jiān)測與設備智能運維業(yè)務。
目前,寶武智維云全面覆蓋寶武集團 21 大生產(chǎn)基地,接入 27 個子平臺、60 萬以上設備、240 萬以上數(shù)據(jù)項,總數(shù)據(jù)量超 5 PB。平臺配置規(guī)則超 10 萬條,已沉淀智能模型超 40 大類,平臺用戶數(shù)超 1 萬。
從以 IoTDB 進行重構的全新架構來看,寶武超大規(guī)模分布式數(shù)據(jù)湖由 1 個 E4-IoTDB 集團數(shù)據(jù)湖和 N 個 E3-IoTDB 基地數(shù)據(jù)湖集群組成。多個 E3-IoTDB 基地數(shù)據(jù)湖負責存儲管理該基地的設備數(shù)據(jù),而寶武集團層的 E4-IoTDB 數(shù)據(jù)湖主要覆蓋常態(tài)數(shù)據(jù)的降頻存儲和故障相關數(shù)據(jù)的原始頻率存儲。同時,集團層可以通過下發(fā)任務方式,從各個基地抽取所需數(shù)據(jù)并進行存儲,用于模型訓練及定制化數(shù)據(jù)任務。
寶武集團與基地之間的數(shù)據(jù)同步方式目前有兩種。第一種為通過 Pipe 使用 IoTDB 自研的時序數(shù)據(jù)標準文件格式 TsFile 進行高效傳輸,不需要數(shù)據(jù)的重新組織和重復寫入,可實現(xiàn)數(shù)據(jù)端到端的直接使用。另一種為使用全貫通的 Kafka 數(shù)據(jù)總線進行數(shù)據(jù)上傳,能夠滿足寶武各基地及集團的數(shù)據(jù)防火墻傳輸要求。
實現(xiàn)數(shù)據(jù)的高性能寫入、存儲,并打通數(shù)據(jù)抽取、傳輸鏈路后,寶武集團成功構建了 E4 集團數(shù)據(jù)湖與 E3 基地數(shù)據(jù)湖。集團數(shù)據(jù)湖包括一個主庫、N 個功能庫和一個備份庫,功能庫又包括故障特征庫與 AI 訓練庫。故障特征庫包括所有基地的設備故障特征,各基地一天幾十條至幾百條不等的故障事件所涉及到的相關數(shù)據(jù)均會上傳并進行存儲,方便集團集中分析故障趨勢與原因。各基地數(shù)據(jù)湖則包括一個主庫、一個功能庫和一個備份庫,功能庫主要做為同步庫使用。
使用 IoTDB 后,寶武集團時序數(shù)據(jù)管理效果提升非常明顯,實現(xiàn)性能提升 1 個量級,存儲成本大幅下降,運維手段豐富,數(shù)據(jù)資產(chǎn)匯聚,AI 模型訓練加速等有效成果。
存儲成本方面,通過實踐,基于 IoTDB 可實現(xiàn) 10 倍數(shù)據(jù)壓縮比,并能夠用少量服務器存儲集團規(guī)模數(shù)據(jù)。對于鋼鐵領域最重要的數(shù)據(jù)類型之一——信號數(shù)據(jù)的存儲成本也得到大幅降低。
運維手段方面,相比舊版架構僵化、暴力的數(shù)據(jù)清洗處理方式,寶武集團成功基于 IoTDB 實現(xiàn)備份、清理的靈活策略化,能夠積累豐富的指標、監(jiān)測信息,幫助運維人員實現(xiàn)對設備狀態(tài)的更好理解。
性能指標方面,IoTDB 寫入速度可實現(xiàn)千萬點/秒,可以長時間穩(wěn)定寫入高頻數(shù)據(jù);基地上報的秒級數(shù)據(jù)及邊緣側上報的毫秒級數(shù)據(jù),一年數(shù)據(jù)量查詢可實現(xiàn)秒級返回,并能夠覆蓋長達十年、數(shù)百萬點的設備數(shù)據(jù)降采樣分析,性能獲得用戶認可。同時,IoTDB 提供了豐富的聚合函數(shù),有效拓寬寶武集團的數(shù)據(jù)加工場景,加速原始數(shù)據(jù)加工,并通過上述數(shù)據(jù)傳輸方案提升數(shù)據(jù)匯聚速度,方便數(shù)據(jù)真正形成模型,實現(xiàn)規(guī)?;\用。
與前文中的選型要求對照可見,IoTDB 在寫入、存儲、查詢、分析、運維、匯聚等方向,均契合了寶武智維的時序數(shù)據(jù)庫選型標準,從根源處解決了 OpenTSDB 與 HBase 架構的多個性能與功能實踐痛點。
4.應用場景舉例
場景一:波形信號數(shù)據(jù)處理
鋼鐵行業(yè)中,設備實時上報的振動波形數(shù)據(jù)是最可靠的時序數(shù)據(jù)資產(chǎn)之一,能夠有效反映設備的運行狀態(tài)。寶武集團的振動波形數(shù)據(jù)一般分為兩類,一類是通過 PLC、DCS 采集上報的工藝量數(shù)據(jù),一類是通過加裝大量傳感器,如溫振傳感器采集上報的振動波形數(shù)據(jù)。各類傳感器安裝數(shù)量龐大,因此后一類數(shù)據(jù)的體量十分可觀。
舊版架構中,以上兩類數(shù)據(jù)基本通過對象存儲方式存入 HBase,存儲量占比在某些基地達到 1:20。一個基地的數(shù)據(jù)中,20 份為振動數(shù)據(jù),1 份為工藝量數(shù)據(jù),可見振動傳感器上傳的時序數(shù)據(jù)體量十分龐大,存儲管理的成本,以及后續(xù)使用處理的難度可想而知。
引入 IoTDB之后,參考 IoTDB 團隊所在的天謀科技技術人員的建議,寶武智維不再將振動波形數(shù)據(jù)作為對象進行存儲,而是直接將數(shù)據(jù)拆散之后,以納秒級精度存儲到 IoTDB,這樣能夠有效提升該類數(shù)據(jù)的存儲壓縮比,大幅降低其存儲成本。同時,存儲模式發(fā)生變化后,應用模式也隨之發(fā)生變化。寶武智維可以直接在 IoTDB 層面對振動波形數(shù)據(jù)進行處理,為后續(xù)的數(shù)據(jù)加工工作提供了有力支撐。寶武智維表示該項改良是“非常顛覆性的設計”。
場景二:結合 AI 的創(chuàng)新應用
IoTDB 有效解決了數(shù)據(jù)的抽取、存儲、處理、上傳問題后,豐富的時序數(shù)據(jù)資產(chǎn)被徹底激活,寶武智維也就能夠拓寬目前應用數(shù)據(jù)的模式與發(fā)展空間。其 AI 團隊成功從“找數(shù)據(jù)”改變?yōu)?ldquo;要數(shù)據(jù)”,能夠發(fā)散更多有想象力的創(chuàng)新應用場景,面向多設備、長周期數(shù)據(jù)進行進一步歸納與分析。衍生場景包括但不限于:
通用數(shù)據(jù)集的自動構建、自動標簽化:基于反饋(誤報和漏報) 和閉環(huán)進行標簽化。
同類故障的數(shù)據(jù)集的構建:故障記錄和多源數(shù)據(jù)的匹配映射,基于故障記錄和故障匹配的數(shù)據(jù)對故障類型、故障程度進行標簽化。
同類設備的數(shù)據(jù)集的構建:同類設備數(shù)據(jù)的歸并和映射,基于設備基準、設備參數(shù)信息,對同類、同部件同型號進行匹配和標簽化。
振動信號的特征提?。簳r域信號分段特征的提取、長周期信號特征的提取、頻域特征的提取。
趨勢特征的提?。洪L周期數(shù)據(jù)特征的提取,月度或年度數(shù)據(jù)特征的提取;生產(chǎn)周期的劃分,周期性生產(chǎn)過程特征的提取。
數(shù)據(jù)對齊和數(shù)據(jù)融合:工況數(shù)據(jù)的匹配,多源異構數(shù)據(jù)(時序、文本、人工輸入數(shù)據(jù))的匹配。
文本對象數(shù)據(jù)集的構建:文本數(shù)據(jù)信息的抽取、實體的匹配。
AI 平臺與 IoTDB 的雙向通訊:數(shù)據(jù)集映射、抽取至 AI 平臺,實現(xiàn)存儲處理與深度分析的一體化融合。
5.未來展望
寶武智維計劃未來在與 IoTDB 深度融合的更多方面進行研究,包括但不限于:
視圖功能:切實結合業(yè)務需求,實現(xiàn)測點數(shù)據(jù)扁平化。圍繞生產(chǎn)、質量、運維等不同角度,結合 IoTDB 自帶的時序數(shù)據(jù)樹狀模型,運用視圖功能組織、復用數(shù)據(jù)資產(chǎn),從業(yè)務方向組織成不同視角的數(shù)據(jù)樹狀架構,進一步降低團隊運維學習成本。
中臺功能:基于 IoTDB 進行通用數(shù)據(jù) API 與專用數(shù)據(jù) API 的研發(fā),形成數(shù)據(jù)資產(chǎn)管理,并在該數(shù)據(jù)中臺之上進行 APP 輕量化,以及數(shù)據(jù)可視化的自主探索。
UDF 函數(shù):目前,IoTDB 主要用于構建寶武智維平臺中的數(shù)據(jù)存儲、處理底座,未來希望針對振動波形、信號數(shù)據(jù)、長周期趨勢分析等關鍵場景,通過研發(fā) UDF 自定義函數(shù)并內嵌至數(shù)據(jù)湖中,替代原有的外掛 Python 程序調用,結合數(shù)據(jù) API、AI 模型,全面提升寶武集團工業(yè)數(shù)據(jù)應用分析能力。
AINode:通過引入 IoTDB 內生支持的機器學習智能節(jié)點,替代原有的數(shù)據(jù)再抽取、單獨外部訓練模式,支持使用已有模型直接在 IoTDB 內部進行推理,針對鋼鐵領域數(shù)據(jù)預測、異常檢測等方面進行預制模型訓練和加載,達到無需導出數(shù)據(jù),直接使用內置模型進行數(shù)據(jù)推理的目標,實現(xiàn)端到端的數(shù)據(jù)深度分析。
以數(shù)據(jù)為牽引,以平臺化為手段,IoTDB 將繼續(xù)與寶武智維深度合作,更好地串聯(lián)產(chǎn)業(yè)鏈上下游數(shù)據(jù)資源,共建鋼鐵生態(tài)圈智能運維服務生態(tài),讓數(shù)據(jù)賦能鋼鐵產(chǎn)業(yè)價值。
(免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )