處理數(shù)據(jù)？不要一概而論

by Nick Jewell

根據(jù)《經(jīng)濟(jì)學(xué)人影響》研究發(fā)現(xiàn)，37%的企業(yè)將數(shù)據(jù)驅(qū)動(dòng)思維列為業(yè)務(wù)關(guān)鍵的優(yōu)先事項(xiàng)，而另有57%的企業(yè)將其列為中等或高度優(yōu)先事項(xiàng)。

該研究還發(fā)現(xiàn)，80%的企業(yè)已經(jīng)實(shí)施了大數(shù)據(jù)分析。然而，目前從數(shù)據(jù)中看到真正價(jià)值的公司比例仍然低得驚人，56%的高管沒(méi)有從大數(shù)據(jù)分析項(xiàng)目中察覺(jué)到價(jià)值。同樣，根據(jù)普華永道的數(shù)據(jù)，到目前為止，只有16%的企業(yè)通過(guò)在云端實(shí)施數(shù)據(jù)和分析項(xiàng)目實(shí)現(xiàn)了商業(yè)價(jià)值。

那么，為什么這么多企業(yè)在數(shù)據(jù)和分析項(xiàng)目實(shí)際運(yùn)作中遇到困難呢？因?yàn)椴煌挠美蛻?yīng)用利用不同類型的數(shù)據(jù)，適用于一種情況的方法并不適用于另一種情況。要知道什么會(huì)起作用，同樣，什么不會(huì)起作用，必須了解有關(guān)這些數(shù)據(jù)集如何隨著時(shí)間的推移而創(chuàng)建、存儲(chǔ)和訪問(wèn)的一些關(guān)鍵細(xì)節(jié)。

大而簡(jiǎn)單與小而復(fù)雜

其中一種數(shù)據(jù)集通常被稱為“大數(shù)據(jù)”。在過(guò)去的十年中，這個(gè)術(shù)語(yǔ)被用于描述服務(wù)于在線客戶服務(wù)的應(yīng)用創(chuàng)建的數(shù)據(jù)集。圍繞大數(shù)據(jù)建立的技術(shù)是為了處理一直在流動(dòng)的大量數(shù)據(jù)而創(chuàng)建的。

如今，創(chuàng)建和使用這類數(shù)據(jù)集的企業(yè)數(shù)量有所增加。這類數(shù)據(jù)并不是大型社交媒體和網(wǎng)絡(luò)企業(yè)的專利，而是在數(shù)千家企業(yè)中涌現(xiàn)出來(lái)。“大數(shù)據(jù)”這個(gè)稱呼現(xiàn)在已經(jīng)成為很多人的常態(tài)。這些數(shù)據(jù)集很大，更新速度很快，而且有序。這使得數(shù)據(jù)分析更容易，pb級(jí)的信息可以被快速掃描和使用。

然而，并不是所有的數(shù)據(jù)集都遵循這種模式。運(yùn)營(yíng)數(shù)據(jù)是業(yè)務(wù)應(yīng)用在接受訂單時(shí)創(chuàng)建的數(shù)據(jù)，并通過(guò)運(yùn)行業(yè)務(wù)的企業(yè)資源計(jì)劃(ERP)應(yīng)用進(jìn)行管理。這包括財(cái)務(wù)和會(huì)計(jì)系統(tǒng)、供應(yīng)鏈運(yùn)營(yíng)和其他流程。操作數(shù)據(jù)集不是可以快速大規(guī)模處理的有序數(shù)據(jù)，而是高度連接且極其密集的數(shù)據(jù)。

這里的挑戰(zhàn)是，建立ERP系統(tǒng)是為了從交易中獲得每一盎司的性能。每個(gè)業(yè)務(wù)職能部門都有自己的交易記錄系統(tǒng)，這些系統(tǒng)經(jīng)過(guò)優(yōu)化以提高特定功能的性能。

例如，客戶銷售將導(dǎo)致創(chuàng)建付款發(fā)票、制造和生產(chǎn)中的銷售訂單，以及內(nèi)部帳戶中的供應(yīng)鏈流程和財(cái)務(wù)分類系統(tǒng)所需的訂單。這些系統(tǒng)都相互連接，每個(gè)客戶記錄都必須在每個(gè)系統(tǒng)中更新。

實(shí)際上，跟蹤業(yè)務(wù)數(shù)據(jù)元素和關(guān)系的數(shù)以萬(wàn)計(jì)的單個(gè)數(shù)據(jù)庫(kù)表必須隨著時(shí)間的推移進(jìn)行更新。因?yàn)檫@種優(yōu)化通常發(fā)生在每個(gè)領(lǐng)域，所以沒(méi)有一個(gè)ERP提供整個(gè)業(yè)務(wù)的聯(lián)合視圖。

分析運(yùn)營(yíng)數(shù)據(jù)可以幫助了解業(yè)務(wù)的運(yùn)行情況。然而，數(shù)據(jù)集的分離使得很難回答業(yè)務(wù)想要問(wèn)的問(wèn)題。例如，適用于大數(shù)據(jù)集的方法通常會(huì)在相互關(guān)聯(lián)的ERP數(shù)據(jù)中失敗。我們今天所知道和使用的數(shù)據(jù)管道模型是為大數(shù)據(jù)而建立的，而不是為ERP數(shù)據(jù)構(gòu)建的。

設(shè)計(jì)數(shù)據(jù)分析方法

數(shù)據(jù)管道是團(tuán)隊(duì)用來(lái)從數(shù)據(jù)中獲取價(jià)值的一組工具和過(guò)程。它從商業(yè)應(yīng)用程序中獲取信息，然后清理、組織并將數(shù)據(jù)呈現(xiàn)給需要的人。對(duì)于操作數(shù)據(jù)，試圖以這種方式應(yīng)用管道是無(wú)效的。

ERP系統(tǒng)用于提高交易速度并保持跨多個(gè)表更新客戶記錄的方法，與使用數(shù)據(jù)管道實(shí)現(xiàn)分析的方法并不真正兼容。操作數(shù)據(jù)不是已經(jīng)組織好的直接數(shù)據(jù)，而是分布在多個(gè)不同的系統(tǒng)中。

所需的信息可能分布在50個(gè)或更多不同的表中，而不是能夠在一個(gè)地方查看單個(gè)事務(wù)。然后，這些表可能需要多次查找和計(jì)算，以創(chuàng)建分析師想要的最終結(jié)果。

要將數(shù)據(jù)放入數(shù)據(jù)管道，需要理解所有這些不同的連接。為了建立這種關(guān)系，分析師通常試圖將這些聯(lián)系分解成越來(lái)越小的部分。這里的目的是創(chuàng)建一個(gè)簡(jiǎn)化的數(shù)據(jù)視圖，然后可以運(yùn)行查詢，而不是試圖一次性處理所有連接。

這種方法的問(wèn)題是它過(guò)度簡(jiǎn)化了數(shù)據(jù)，這意味著分析師只能回答預(yù)定義的問(wèn)題。如果他們還需要其他東西，那就意味著返回源系統(tǒng)以獲取數(shù)據(jù)并將其調(diào)整到合適的狀態(tài)的漫長(zhǎng)過(guò)程。這意味著獲得見(jiàn)解的時(shí)間更慢，因此實(shí)現(xiàn)結(jié)果的時(shí)間也更慢。

要解決這個(gè)問(wèn)題，我們必須停止把每個(gè)數(shù)據(jù)分析問(wèn)題都看成一個(gè)更復(fù)雜的管道就能解決的解決方案。相反，我們必須考慮如何從一開(kāi)始就處理連接的數(shù)據(jù)集。實(shí)際上，這意味著讓用戶可以訪問(wèn)數(shù)據(jù)，而無(wú)需管理將數(shù)據(jù)傳輸?shù)剿麄兊墓艿馈?/p>

它還包括在進(jìn)行任何查詢之前有正確的分析方法。Gartner將這種方法定義為查詢加速，即在創(chuàng)建任何查詢之前掃描整個(gè)數(shù)據(jù)集進(jìn)行分析。它把所有的數(shù)據(jù)都帶到了問(wèn)題上，以便快速回答問(wèn)題。這也改善了查詢過(guò)程，因?yàn)榉治鰩熆梢噪S著時(shí)間的推移提出他們想要問(wèn)的問(wèn)題，而不是拘泥于既定的問(wèn)題。

根據(jù)需要使用正確的方法

為了使數(shù)據(jù)分析項(xiàng)目成功，我們必須考慮我們必須達(dá)到的目標(biāo)和存在的目標(biāo)。少數(shù)成功實(shí)施數(shù)據(jù)和分析項(xiàng)目的企業(yè)表明，我們必須觀察我們?cè)谡麄€(gè)業(yè)務(wù)中擁有的數(shù)據(jù)類型，然后在需要的地方應(yīng)用正確的工具和方法。隨著越來(lái)越多的企業(yè)利用數(shù)據(jù)來(lái)創(chuàng)造競(jìng)爭(zhēng)優(yōu)勢(shì)，并幫助決策過(guò)程，做好這方面的工作將變得至關(guān)重要。

-----------------------------------------------------------

峰會(huì)預(yù)告

近期，由千家網(wǎng)主辦的2022年第23屆中國(guó)國(guó)際建筑智能化峰會(huì)將正式拉開(kāi)帷幕，本屆峰會(huì)主題為“數(shù)智賦能，碳索新未來(lái)”，屆時(shí)將攜手全球知名建筑智能化品牌及專家，共同分享AI、云計(jì)算、大數(shù)據(jù)、IoT、智慧城市、智能家居、智慧安防等熱點(diǎn)話題與最新技術(shù)應(yīng)用，并探討如何打造“更低碳、更安全、更穩(wěn)定、更開(kāi)放”的行業(yè)生態(tài)，助力“雙碳”目標(biāo)的實(shí)現(xiàn)。

歡迎建筑智能化行業(yè)同仁報(bào)名參會(huì)，分享交流！

報(bào)名方式

上海站（11月23日）：https://www.huodongxing.com/event/3638582473900

北京站（11月25日）：https://www.huodongxing.com/event/4638577546900

廣州站（12月08日）：https://www.huodongxing.com/event/2638587914600

成都站（12月20日）：https://www.huodongxing.com/event/5657854318600

西安站（12月22日）：https://www.huodongxing.com/event/4638585444400

更多2022年峰會(huì)信息，詳見(jiàn)峰會(huì)官網(wǎng)：http://summit.qianjia.com/

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。