制造業(yè)是一個(gè)古老而悠久的行業(yè)，它的起源最早可追溯到石器時(shí)代。從新石器時(shí)代簡(jiǎn)單的工具，到今天復(fù)雜的智能工廠，制造業(yè)歷經(jīng)千年發(fā)展，蛻變成了由技術(shù)驅(qū)動(dòng)的創(chuàng)新行業(yè)，充滿各種自動(dòng)化流程、始終互連的設(shè)備和數(shù)據(jù)豐富的流程。
“離散型”制造業(yè)面臨數(shù)據(jù)挑戰(zhàn)
在制造業(yè)中，通常有著“流程型”和“離散型”兩種區(qū)分。“流程型”是指被加工對(duì)象不間斷地通過(guò)生產(chǎn)設(shè)備，通過(guò)一系列的加工裝置使原材料進(jìn)行化學(xué)或物理變化，最終得到產(chǎn)品。典型的流程生產(chǎn)制造業(yè)有醫(yī)藥、化工、石油化工、電力、鋼鐵制造、能源、水泥等領(lǐng)域。“離散型”制造，則是指材料的生產(chǎn)過(guò)程通常被分解為多項(xiàng)加工任務(wù)。典型的離散制造行業(yè)主要包括機(jī)械制造、電子電器、航空制造、汽車制造等行業(yè)。
在整個(gè)離散制造業(yè)的現(xiàn)場(chǎng)有著太多的生產(chǎn)、物料、工藝以及人員數(shù)據(jù)。以前，離散制造業(yè)往往只能通過(guò)人工上報(bào)、手動(dòng)填單等方式來(lái)進(jìn)行數(shù)據(jù)收集。對(duì)于管理層而言，這些數(shù)據(jù)往往是不透明的、不準(zhǔn)確的，或是滯后延遲的。離散制造企業(yè)本身從業(yè)務(wù)到管理，都亟需通過(guò)數(shù)字化進(jìn)行優(yōu)化和提升。
如何解決“離散型”制造業(yè)的數(shù)據(jù)挑戰(zhàn)?
工業(yè)數(shù)字化軟件供應(yīng)商數(shù)益工聯(lián)，致力于打造基于“數(shù)據(jù)流+價(jià)值流”的離散制造業(yè)數(shù)字化軟件。數(shù)益工聯(lián)團(tuán)隊(duì)以IE+IT為核心能力，實(shí)現(xiàn)產(chǎn)品和技術(shù)的雙輪驅(qū)動(dòng)，已在十多個(gè)行業(yè)落成全球領(lǐng)先的數(shù)字標(biāo)桿工廠公司。公司至今已獲得華創(chuàng)資本、高瓴創(chuàng)投、元生資本等知名機(jī)構(gòu)的風(fēng)險(xiǎn)投資，累計(jì)融資額數(shù)億元，在上海、蘇州、廣州三地設(shè)有子公司，打造跨區(qū)域全國(guó)服務(wù)平臺(tái)。
數(shù)益工聯(lián)數(shù)字工廠系統(tǒng)(DFS，Digital Factory System)應(yīng)用新一代的物聯(lián)網(wǎng)技術(shù)與豐富的現(xiàn)場(chǎng)交互手段，獲取工廠現(xiàn)場(chǎng)最實(shí)時(shí)、最真實(shí)、最有效的數(shù)據(jù)，不僅包含設(shè)備狀態(tài)、設(shè)備異常數(shù)據(jù)、設(shè)備生產(chǎn)數(shù)據(jù)等設(shè)備 IOT 數(shù)據(jù)，還包含人員的交互使用數(shù)據(jù)，如計(jì)劃報(bào)工、工藝、倉(cāng)儲(chǔ)物流、質(zhì)檢等核心生產(chǎn)管理業(yè)務(wù)的數(shù)據(jù)等。對(duì)管理層而言，通過(guò)數(shù)益工聯(lián)數(shù)字工廠系統(tǒng)，可以直觀看到清晰、直接的報(bào)表，從中發(fā)現(xiàn)數(shù)據(jù)的價(jià)值，繼而深入分析并采取行動(dòng)，優(yōu)化制造現(xiàn)場(chǎng)。
數(shù)益工聯(lián)數(shù)字化工廠架構(gòu)面臨的挑戰(zhàn)
數(shù)益工聯(lián)數(shù)字化工廠架構(gòu)圖
從架構(gòu)上看，數(shù)益工聯(lián)數(shù)字化工廠主要分為四層：
第一層為物聯(lián)層，包括硬件和軟件兩部分。硬件主要為數(shù)益工聯(lián)自研的智能終端，軟件包括邊緣應(yīng)用和物聯(lián)平臺(tái)。其中應(yīng)用主要具備設(shè)備參數(shù)的采集、人臉識(shí)別等功能，以上應(yīng)用均運(yùn)行于智能終端。物聯(lián)平臺(tái)則主要承擔(dān)設(shè)備管理、配置和升級(jí)的相關(guān)工作。
第二層為應(yīng)用層，包括 IOT 數(shù)據(jù)服務(wù)、核心服務(wù)、低代碼平臺(tái)。IOT 數(shù)據(jù)服務(wù)是接受物聯(lián)上報(bào)數(shù)據(jù)，計(jì)算設(shè)備開(kāi)機(jī)率，異常等設(shè)備相關(guān)的服務(wù)，同時(shí)也是其他業(yè)務(wù)的數(shù)據(jù)源頭;核心服務(wù)包括了計(jì)劃報(bào)工、質(zhì)量等數(shù)字化工廠服務(wù);低代碼平臺(tái)主要包括了報(bào)表的可視化平臺(tái)、流程編排等功能。
第三層為大數(shù)據(jù)層，分成了大數(shù)據(jù)和算法兩個(gè)部分。大數(shù)據(jù)應(yīng)用包括了成本控制、APS、工藝大數(shù)據(jù);算法包括了人臉識(shí)別、時(shí)序分析等算法。
第四層為基礎(chǔ)架構(gòu)層，作為基礎(chǔ)設(shè)施提供其他業(yè)務(wù)使用。主要包括了存儲(chǔ)、數(shù)據(jù)庫(kù)、中間件和云原生等部分。
數(shù)字工廠的數(shù)據(jù)源頭主要包括兩部分：
第一部分是 IOT 事件，包括了設(shè)備的開(kāi)關(guān)機(jī)，物聯(lián)采集、異常等數(shù)據(jù)，這部分?jǐn)?shù)據(jù)通過(guò) mqtt 上傳到 IOT 服務(wù)進(jìn)行處理，同時(shí)會(huì)推送到隊(duì)列中，方便后續(xù)的計(jì)算和存儲(chǔ);
另一部分是業(yè)務(wù)產(chǎn)生的數(shù)據(jù)，包括了計(jì)劃報(bào)工、上下班等產(chǎn)生業(yè)務(wù)數(shù)據(jù)，主要通過(guò) http 進(jìn)行上傳和展示。業(yè)務(wù)數(shù)據(jù)會(huì)直接存放到數(shù)據(jù)庫(kù)中，同時(shí)將數(shù)據(jù)推送到隊(duì)列中。
數(shù)據(jù)存儲(chǔ)主要采用了 TiDB 和 Starrocks 兩個(gè)數(shù)據(jù)庫(kù)，除了時(shí)序相關(guān)的數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)都存放在了 TiDB 中。
隨著數(shù)益工聯(lián)業(yè)務(wù)規(guī)模的不斷增長(zhǎng)，數(shù)據(jù)量變得愈發(fā)龐大，對(duì)于數(shù)據(jù)庫(kù)的穩(wěn)定性也提出了更高的要求：
1、多數(shù)業(yè)務(wù)數(shù)據(jù)需要支持秒級(jí)延時(shí)，因此需要數(shù)據(jù)庫(kù)具有很高的并發(fā)能力;隨著業(yè)務(wù)的增長(zhǎng)，數(shù)據(jù)量也會(huì)越來(lái)越大，需要數(shù)據(jù)庫(kù)具有良好的拓展性;
2、隨著數(shù)據(jù)量的增大，報(bào)表制作成本和難度變大，無(wú)法保證實(shí)時(shí)性。
為解決業(yè)務(wù)系統(tǒng)的性能瓶頸，提高數(shù)據(jù)庫(kù)的性能問(wèn)題，數(shù)益工聯(lián)選擇了 TiDB 這一新型分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)重構(gòu)。
數(shù)益工聯(lián)研發(fā)團(tuán)隊(duì)在實(shí)踐過(guò)程發(fā)現(xiàn)，TiDB 許多優(yōu)勢(shì)正好可以滿足數(shù)益工聯(lián)的需求：
TiDB 兼容性強(qiáng)，在實(shí)踐的過(guò)程中幾乎沒(méi)有遇到過(guò)不兼容的問(wèn)題，除了少數(shù)默認(rèn)編碼的問(wèn)題。
支持云原生部署，可以通過(guò) Kubernetes operator 來(lái)快速部署TiDB集群，具有完善的配套監(jiān)控功能。
能夠?qū)崿F(xiàn)自動(dòng)化水平擴(kuò)容，支持高可用，運(yùn)維無(wú)需手動(dòng)接入，極大地降低了運(yùn)維成本。
支持 AP，TiDB 支持 TiFlash，降低部署復(fù)雜度，TiFlash 在億級(jí)別數(shù)據(jù)的查詢中，通常能達(dá)到 5 倍的加速。
TiDB如何助力數(shù)益工聯(lián)挖掘價(jià)值數(shù)據(jù)?
那么，數(shù)益研發(fā)團(tuán)隊(duì)是如何使用 TiDB 實(shí)現(xiàn)對(duì)于工業(yè)數(shù)據(jù)的價(jià)值挖掘的?以工廠運(yùn)轉(zhuǎn)效率的重要指標(biāo)設(shè)備開(kāi)機(jī)率為例，對(duì)于工廠而言，設(shè)備的開(kāi)機(jī)率與生產(chǎn)效率息息相關(guān)，能否實(shí)時(shí)獲取開(kāi)機(jī)率，機(jī)器是否實(shí)現(xiàn)了高效且合理的運(yùn)轉(zhuǎn)非常重要。數(shù)益工聯(lián)團(tuán)隊(duì)通過(guò) TiDB 實(shí)現(xiàn)了以下功能：
開(kāi)關(guān)機(jī)記錄：一條開(kāi)機(jī)記錄表示記錄單個(gè)設(shè)備的一次開(kāi)機(jī)時(shí)間和關(guān)機(jī)時(shí)間。這種記錄表，由于數(shù)據(jù)量過(guò)大，現(xiàn)在主要放在ES中。
開(kāi)機(jī)率：表示在一段時(shí)間內(nèi)的開(kāi)機(jī)時(shí)間的占比，延時(shí)需要精確到秒級(jí)，這種數(shù)據(jù)現(xiàn)在轉(zhuǎn)換成時(shí)序的數(shù)據(jù)存放在 Starrocks，同時(shí)創(chuàng)建物化視圖，加速時(shí)間跨度大的查詢。
但隨著時(shí)間增長(zhǎng)，團(tuán)隊(duì)也遇到了以下問(wèn)題：一是開(kāi)機(jī)記錄和開(kāi)機(jī)率數(shù)據(jù)不同源，導(dǎo)致數(shù)據(jù)容易不一致;二是Starrocks 存儲(chǔ)量大，占用了大量的計(jì)算和存儲(chǔ)資源。
因此，數(shù)益工聯(lián)數(shù)據(jù)團(tuán)隊(duì)對(duì)于開(kāi)機(jī)率進(jìn)行了第三次改造：Starrocks 不再保存開(kāi)機(jī)率的時(shí)序數(shù)據(jù)。時(shí)序數(shù)據(jù)量比較大，容易出現(xiàn)異常，導(dǎo)致數(shù)據(jù)不一致。數(shù)益工聯(lián)一方面將開(kāi)機(jī)記錄存放在 TiDB 中;另一方面通過(guò)開(kāi)機(jī)記錄來(lái)計(jì)算出開(kāi)機(jī)率。
原先 ES 同步寫入容易引發(fā)業(yè)務(wù)寫入超時(shí)的問(wèn)題，這次改造解決了 ES 數(shù)據(jù)寫入延時(shí)的問(wèn)題，同時(shí)，也減少了 Starrocks 的存儲(chǔ)資源的占用。這次改造使得在在100 臺(tái)設(shè)備的應(yīng)用場(chǎng)景中，一年能減少百 GB 級(jí)別的Starrocks 存儲(chǔ);充分利用了 TiDB 的 HTAP 能力，通過(guò) TiDB 的 HTAP 直接對(duì)開(kāi)機(jī)記錄進(jìn)行聚合查詢，降低了業(yè)務(wù)復(fù)雜度，給業(yè)務(wù)開(kāi)發(fā)提供了很大的便利性。目前，TiDB 在線上運(yùn)行表現(xiàn)十分穩(wěn)定。
改造 TiFlash，實(shí)現(xiàn) TiDB 物化功能
與此同時(shí)，數(shù)益工聯(lián)研發(fā)團(tuán)隊(duì)也在進(jìn)行一些定制化的改造。由于業(yè)務(wù)需要支持任意時(shí)間段查詢開(kāi)機(jī)率的能力，因此需要按天對(duì)數(shù)據(jù)進(jìn)行預(yù)聚合，但TiDB 不支持物化能力，需要借助業(yè)務(wù)邏輯來(lái)實(shí)現(xiàn)，加大了業(yè)務(wù)實(shí)現(xiàn)復(fù)雜度。隨著業(yè)務(wù)預(yù)聚合的需求越來(lái)越多，數(shù)益工聯(lián)研發(fā)團(tuán)隊(duì)決定對(duì) TiFlash 進(jìn)行改造，實(shí)現(xiàn) TiDB 物化功能：
1、每個(gè)基表根據(jù)物化語(yǔ)句生成物化表。
2、基表以分區(qū)為粒度進(jìn)行聚合，當(dāng)數(shù)據(jù)到達(dá)一定時(shí)間的策略的時(shí)候，會(huì)把整個(gè)分區(qū)進(jìn)行聚合，放到物化表分區(qū)中。
3、查詢引擎自動(dòng)判斷是否使用基表分區(qū)還是物化分區(qū)。
4、在和Tiflash團(tuán)隊(duì)的交流中發(fā)現(xiàn)，需要解決重復(fù)計(jì)算的問(wèn)題，因此數(shù)據(jù)需要多副本去重計(jì)算。
目前，在數(shù)益初步的單副本測(cè)試中，雖然還存在一些問(wèn)題需要修復(fù)，但能看到 TiFlash 的物化功能展現(xiàn)了很大的潛力，相信將在未來(lái)多業(yè)務(wù)場(chǎng)景下發(fā)揮重要作用。
數(shù)據(jù)庫(kù)在制造業(yè)中扮演著至關(guān)重要的角色，它們?yōu)楣S提供了強(qiáng)大的信息管理能力，幫助工廠更好地挖掘數(shù)據(jù)的價(jià)值。TiDB 可以幫助制造業(yè)處理海量數(shù)據(jù)，提供高效的查詢性能，我們也期待幫助更多制造業(yè)用戶完成數(shù)字化轉(zhuǎn)型，從而提升企業(yè)的競(jìng)爭(zhēng)力與效率。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
