在日前結(jié)束的“讓業(yè)務(wù)用起來·觀遠數(shù)據(jù)2022智能決策峰會暨產(chǎn)品發(fā)布會”云上直播中,數(shù)禾科技CDO王冠軍分享了“金融科技場景下的敏捷BI實踐”。王冠軍總結(jié)了 BI 建設(shè)的訴求與動機,以及 BI 工具框架搭建的分析方法論,并分享了數(shù)禾科技攜手觀遠數(shù)據(jù),建立 BIOps 打造一流 BI 團隊,實現(xiàn)數(shù)據(jù)分析民主化和數(shù)據(jù)驅(qū)動決策的歷程。
BI 建設(shè)的訴求與動機
數(shù)禾科技成立于 2015 年的 8 月,以大數(shù)據(jù)和技術(shù)為驅(qū)動,為金融機構(gòu)提供高效智能零售金融解決方案,服務(wù)銀行、信托、消費金融公司、保險、小貸公司等持牌金融機構(gòu)。數(shù)禾科技通過自主開發(fā)的消費信貸產(chǎn)品,連接金融機構(gòu)與普羅大眾,賦能金融機構(gòu)數(shù)字化轉(zhuǎn)型,迎接中國消費升級的大潮。
數(shù)禾科技 BI 建設(shè)路程與業(yè)務(wù)息息相關(guān)。對于業(yè)務(wù)而言,BI 功能有幾個關(guān)鍵詞。
?提效:幫助業(yè)務(wù)能夠更方便地獲得數(shù)據(jù),找到數(shù)據(jù)背后的業(yè)務(wù)含義,效率是第一位。
?自助:從原來的專業(yè) IT 團隊者做交付,轉(zhuǎn)化為業(yè)務(wù)團隊自助式完成訴求。
?交互友好:在任何時間、任何地點以各種方式,都能夠通過 BI 做業(yè)務(wù)洞察、業(yè)務(wù)探測,例如手機,Email,釘釘、企業(yè)微信、飛書等工作軟件。
?共享與協(xié)作:BI 的結(jié)果要能夠共享,讓不同的業(yè)務(wù)職能團隊做協(xié)作,實現(xiàn)更好的協(xié)同。
?流程簡化:BI 體系能夠簡化多方協(xié)作的流程,以更平民化的方式獲得數(shù)據(jù)洞察的能力。
?快速洞察:快速取數(shù)以及拿到數(shù)據(jù)后,要能快速分析出業(yè)務(wù)結(jié)果。
?嵌入業(yè)務(wù)流程:將 BI 的能力和業(yè)務(wù)流程結(jié)合,邊看邊干,邊分析邊執(zhí)行。
?目標(biāo)跟隨:通過歷史數(shù)據(jù)設(shè)定 KPI 目標(biāo)、戰(zhàn)略目標(biāo)等執(zhí)行目標(biāo),通過 BI 管理目標(biāo)結(jié)果與過程,并優(yōu)化戰(zhàn)術(shù)策略以及調(diào)整戰(zhàn)術(shù)方向。
?績效改進:設(shè)定業(yè)務(wù)目標(biāo)時匹配多種方案,可以通過BI做提前預(yù)測,找到更優(yōu)化的策略。
?可執(zhí)行決策:BI 最重要的工作是產(chǎn)生洞察,洞察的目的是決策,可落地的決策才是最有價值。
在大數(shù)據(jù)時代下,數(shù)禾科技對數(shù)據(jù)與技術(shù)都有了更高的要求。每個地方都可以產(chǎn)生數(shù)據(jù),產(chǎn)生數(shù)據(jù)的結(jié)構(gòu)都是不一樣的,異構(gòu)數(shù)據(jù)源的統(tǒng)一集成是重點;其次是數(shù)據(jù)的準(zhǔn)備和處理,可以幫助高效加工數(shù)據(jù),做高質(zhì)量的洞察;數(shù)據(jù)實時性是當(dāng)前非常重要的要求,可以對后續(xù)執(zhí)行進行靈活性調(diào)整;未來對于更高效的數(shù)據(jù)探索,在全量數(shù)據(jù)進行快速的交互式查詢,對大數(shù)據(jù)量的可視化工作,以及一些高級分析算法,都是目前努力的方向。
王冠軍表示,“底層支撐技術(shù)需要跟 BI 去做結(jié)合,提供更高效、合規(guī)、安全的洞察服務(wù)基座。”技術(shù)的主要挑戰(zhàn)在大數(shù)據(jù)體系方面的分布式存儲、分布式計算流批一體以及 OLAP 在線分析處理、安全處理、數(shù)據(jù)編織等等。
除去業(yè)務(wù)的訴求和數(shù)據(jù)、技術(shù)的挑戰(zhàn), BI 工具的功能特點發(fā)生了重大升級,王冠軍總結(jié)了以下幾點:
?移動優(yōu)先,移動互聯(lián)網(wǎng)時代,BI 無論是在手機、平板電腦,還是在筆記本上,都可以快速獲得訪問能力;
?即時響應(yīng),報表的加載的時間,應(yīng)該在秒級就能把結(jié)果呈現(xiàn)出來;
?交互增強,被動接收新的 BI 信息、成果以及洞察結(jié)論。例如不再點擊鏈接,而是與機器人交互,獲知GMV等信息;
?可嵌入,把 BI 嵌入到工作流程里,邊看邊干,邊分析邊執(zhí)行,縮短洞察到?jīng)Q策到執(zhí)行環(huán)節(jié);
?敏捷自助,唯有自助才能夠?qū)崿F(xiàn)敏捷;
?增強分析,把 AI 機器學(xué)習(xí)的算法能夠放進 BI 里,不局限于傳統(tǒng)分析框架。
此外,安全合規(guī)、實時數(shù)據(jù)、云原生、可觀測性、7*24可訪問、BIOps等等也是數(shù)禾科技關(guān)注目標(biāo)。
將數(shù)據(jù)融入 BI ,將 BI 融入業(yè)務(wù),數(shù)禾科技構(gòu)建了自己的“數(shù)據(jù)賦能飛輪”。先從業(yè)務(wù)流程開始,承載數(shù)字化業(yè)務(wù),業(yè)務(wù)流程累積沉淀出數(shù)據(jù),采集這些數(shù)據(jù)放在大數(shù)據(jù)平臺上做洞察,基于洞察結(jié)果,制定一系列策略,并定計劃行動,最后這些行動再落實在業(yè)務(wù)流程里。那么新的業(yè)務(wù)流程或者說這個變更過的業(yè)務(wù)流程,又開始運轉(zhuǎn)起來,如此循環(huán)不斷產(chǎn)生了螺旋式上升的飛輪效應(yīng)。
這其中“洞察”環(huán)節(jié)的框架是重中之重。有了數(shù)據(jù),下一步是分析洞察,可以分成四大塊,分別是統(tǒng)計分析、診斷分析、預(yù)測分析、規(guī)范分析。
?統(tǒng)計分析主要解決兩個問題,第一,對于過去發(fā)生的事情,在明細層面還原業(yè)務(wù);第二,對過去數(shù)據(jù)進行匯總統(tǒng)計產(chǎn)出報告,知曉發(fā)生了什么。
?診斷分析階段,基于報告要做診斷分析找到原因。
?預(yù)測分析開始預(yù)測未來可能發(fā)生什么,通過數(shù)據(jù)能夠給到預(yù)判,輔助業(yè)務(wù)制定策略。
?規(guī)范性分析的核心目標(biāo)是事中控制,及時制定最優(yōu)策略并快速執(zhí)行,讓數(shù)據(jù)洞察落地。第一要干預(yù),對業(yè)務(wù)問題的及時干預(yù)止損,第二就做控制,實時感知業(yè)務(wù)狀態(tài),控制在合理邊界范圍內(nèi)。
為了支撐以上分析功能,有一些傳統(tǒng)的經(jīng)典分析方法,也有一些目前比較流行的增長分析手段。無論是經(jīng)典分析方法論還是先進的增強分析,都需要 BI 能力支撐。比如,通過數(shù)據(jù)指標(biāo)統(tǒng)計進行業(yè)務(wù)監(jiān)控,感知業(yè)務(wù)當(dāng)前的運行狀態(tài),感知后進行預(yù)警,一旦超過閾值,及時進行歸因定位,通知相關(guān)人員。最后在新策略制定過程中,要有模擬仿真,通過歷史數(shù)據(jù)做歷史回測。在模擬仿真的歷史回測上得到是最優(yōu)解后,再去在生產(chǎn)環(huán)境里驗證,有效節(jié)省相關(guān)成本。
BIOps 建設(shè)實踐分享
DevOps 和 Data Ops 實現(xiàn)了開發(fā)運營以及數(shù)據(jù)分析過程中,降本增效的作用。借鑒該理念,數(shù)禾科技總結(jié)了一些經(jīng)驗,制定出一套 BIOps 的實踐經(jīng)驗。
BI 工作環(huán)境分成兩個,沙箱/分析環(huán)境和生產(chǎn)環(huán)境。沙箱/分析環(huán)境里,提供一整套數(shù)據(jù)的訪問和透視能力。把數(shù)據(jù)集成到沙箱/分析環(huán)境后,數(shù)據(jù)分析師業(yè)務(wù)人員可以自助通過觀遠數(shù)據(jù) SmartETL等工具進行簡單的數(shù)據(jù)清洗工作。之后可以應(yīng)用一些分析方法論,對各個維度的數(shù)據(jù)進行探索,甚至做一些可視化圖表、分析看板,觀察效果以及結(jié)論。
當(dāng)這條分析方法以及洞察結(jié)論形成了相對固定的套路之后,業(yè)務(wù)人員就會把整個 BI 的分析流水線上線發(fā)布到生產(chǎn)環(huán)境里去。生產(chǎn)環(huán)境里的數(shù)據(jù)源來自于大數(shù)據(jù)和數(shù)據(jù)中臺,把這些數(shù)據(jù)抽取到 BI 平臺里做數(shù)據(jù)加工,生成報表,發(fā)布到訂閱用戶使用。通過類似于 DevOps 的流程,極大簡化了數(shù)據(jù)分析探索,以及洞察交付的實踐。相當(dāng)于把沙箱/分析環(huán)境里,業(yè)務(wù)人員自助發(fā)現(xiàn)的業(yè)務(wù)數(shù)據(jù)規(guī)律進行了更廣泛的共享和使用。
對于這樣一套環(huán)境,BI 管理團隊需要維護好的整個 BI 平臺。對每天跑的平臺任務(wù)的運維,監(jiān)控資源的消耗,以及治理BI作業(yè)。平臺中的儀表板、報表,做好生命周期管理,跟蹤治理效果如何,是否實現(xiàn)了某個業(yè)務(wù)的降本增效。王冠軍表示,“所有的工作都是數(shù)據(jù)驅(qū)動,也是得益于觀遠數(shù)據(jù) BI 平臺,提供了很多的 BI 元數(shù)據(jù),幫助到我們制定精細化的管理策略。”
建設(shè)一流BI團隊
打造數(shù)據(jù)文化
有了工具,有了流程,后續(xù)是讓整個公司的人員都用起來,所有人都應(yīng)該基于數(shù)據(jù)做決策。這就對企業(yè)的數(shù)字文化建設(shè)提出了要求。兩年前引入觀遠數(shù)據(jù)之后,數(shù)禾科技一直在不斷打造數(shù)據(jù)文化體系,王冠軍介紹了工作開展的三點思路和方向。
首先做培訓(xùn)和社區(qū)。BI 能夠干什么?能夠幫助到業(yè)務(wù)解決什么問題?一系列問題的解決方案是什么?能解決日常工作中的痛點是什么?這些都是需要和業(yè)務(wù)同事明確的。同時也會引進一些前沿的分析方法論,應(yīng)用在日常工作當(dāng)中,讓業(yè)務(wù)真正體會到數(shù)據(jù)和技術(shù)能夠帶來的變化。之后在各個業(yè)務(wù)團隊里面培養(yǎng)種子用戶,形成社區(qū)效應(yīng),做定期分享,形成自下向上的體系。
其次是精益運營。作為 BI 管理團隊,除了 BIOps 之外,數(shù)禾科技使用了 PDCA 框架貫穿在日常工作中。每個季度把所有的業(yè)務(wù)痛點拎出來分類,設(shè)定相關(guān)的解決方案和改進機制,不斷循環(huán),使得業(yè)務(wù)團隊對BI平臺信賴度持續(xù)提升。
最后是科學(xué)管理的手段。不僅依賴于人去管理整個系統(tǒng)運營,也需要自動化工具來運營。包括自動化的工具的研發(fā),平臺性能監(jiān)控機制,以及多種數(shù)據(jù)架構(gòu)方案。通過現(xiàn)有技術(shù)手段精益求精,讓數(shù)據(jù)驅(qū)動的數(shù)據(jù)文化真真正正在數(shù)禾科技落地生根。
引入觀遠數(shù)據(jù)已經(jīng)兩年,王冠軍表示,“數(shù)禾科技已經(jīng)實現(xiàn)了數(shù)據(jù)分析民主化和數(shù)據(jù)驅(qū)動的決策。”在數(shù)禾科技,入職即開通觀遠賬號,目前 90% 以上的員工都在使用觀遠BI。目前總共有 5000 多張報表。
從活躍度來看,數(shù)禾科技兩年多累計訪問約 360 萬次,每天訪問量在 5.8 萬次左右。數(shù)禾科技也在持續(xù)改進整個 BI 平臺體系,當(dāng)前 SLA 非常高,大于99.99%,系統(tǒng) 0 卡頓。從效率看,平均報表渲染加載時長 1.5 秒,快速渲染加載率 95%。因此數(shù)禾科技用戶在觀遠BI平臺上交互體驗以及響應(yīng)都非常好,樂意使用觀遠BI完成數(shù)據(jù)分析以及洞察。
數(shù)禾科技和觀遠數(shù)據(jù)一起合作兩年多的時間內(nèi),把數(shù)據(jù)分析民主化這件事情真正的落地了,期待雙方的進一步合作,共創(chuàng)更好的 BI 最佳實踐,為整個行業(yè)做出更多貢獻。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
