假期剛過，易鑫集團產(chǎn)品部經(jīng)理王楊一大早就坐在電腦前，開始整理十一期間的運營數(shù)據(jù)。各條事業(yè)線、上百個產(chǎn)品、不同渠道，還有一些重要的測試期產(chǎn)品需要呈現(xiàn)更多細節(jié)。這個工作量，以往需要一個數(shù)據(jù)分析團隊花費一整天的時間才能完成，而在易鑫智能數(shù)據(jù)倉庫(以下簡稱“智能數(shù)倉”)的支持下，只要短短30分鐘。
“智能數(shù)倉”的作用不僅在提升數(shù)據(jù)分析的效率。作為一家專業(yè)的汽車金融交易平臺，易鑫集團累計實現(xiàn)的汽車金融交易量已超過200萬臺，是數(shù)十家銀行等金融機構(gòu)的合作伙伴。在平臺紛繁忙碌的日常運營中，“智能數(shù)倉”的存在猶如“核心大腦”，為多業(yè)務(wù)體系穩(wěn)定高效的運行提供了最強有力的科技保障。
從“散裝”數(shù)據(jù)，到自建“智能數(shù)倉”
徐飛是易鑫“智能數(shù)倉”項目的第一位員工。彼時的易鑫，還沒有一個真正意義上的“數(shù)據(jù)倉庫”，眾多業(yè)務(wù)數(shù)據(jù)被“散裝”在幾十個互不相通的業(yè)務(wù)操作系統(tǒng)中，只能通過手工報表導入信息。數(shù)據(jù)標準不統(tǒng)一，靠“手工”管理的表格極易出現(xiàn)錯漏，嚴重制約了業(yè)務(wù)的進一步發(fā)展。
作為國內(nèi)首批從事大數(shù)據(jù)平臺建設(shè)、應用研發(fā)的專業(yè)人員，徐飛不僅參與過多家大型互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中心構(gòu)建，還有一段不短的創(chuàng)業(yè)經(jīng)歷，幫助過眾多中小型互聯(lián)網(wǎng)公司構(gòu)建獨立中心數(shù)據(jù)倉庫，這使得他在自建易鑫“智能數(shù)倉”的工作中，能給出更精準的設(shè)計和前瞻性的戰(zhàn)略布局。
“和互聯(lián)網(wǎng)公司匯集海量用戶的行為數(shù)據(jù)不同，易鑫是以業(yè)務(wù)數(shù)據(jù)為主，對數(shù)據(jù)平臺的安全性、穩(wěn)定性和數(shù)據(jù)精準度、可用易用性要求更高;同時，公司多業(yè)務(wù)并行，數(shù)據(jù)橫跨多個系統(tǒng)、鏈條拉得很長，口徑不統(tǒng)一、標準不兼容，第三方商業(yè)數(shù)據(jù)庫沒法完全滿足需求;作為一家平臺化發(fā)展的企業(yè)，系統(tǒng)必須具備支持多項目運行的復雜運算和無限擴容的能力，以滿足隨著業(yè)務(wù)增長、未來數(shù)據(jù)處理量幾倍、甚至上百倍增長的要求。”
徐飛說：“綜合考察各種商業(yè)數(shù)據(jù)庫的方案，也參考了互聯(lián)網(wǎng)企業(yè)經(jīng)驗，我們發(fā)現(xiàn)自建數(shù)倉是最‘慢’、最‘費力’，但也最‘扎實’的解決方案。”
上圖：易鑫“智能數(shù)倉”團隊在工作中
構(gòu)建深入業(yè)務(wù)的“核心大腦”
同一團隊的老秦曾參與過新浪等互聯(lián)網(wǎng)公司的數(shù)據(jù)倉庫建設(shè)。在他眼中，易鑫自建“智能數(shù)倉”，至少要具備三方面能力：首先，有統(tǒng)一的輸入輸出標準，能夠支持海量多源異構(gòu)數(shù)據(jù)的靈活存儲和高效計算;其次，能夠構(gòu)建橫跨多個業(yè)務(wù)系統(tǒng)的通用數(shù)據(jù)標準，實現(xiàn)對跨平臺數(shù)據(jù)的有效組織和貫通;第三，具備加工數(shù)據(jù)產(chǎn)品和提供數(shù)據(jù)服務(wù)的能力，有支持統(tǒng)計、分析、挖掘等的中臺操作模塊，可以基于SLA標準對外穩(wěn)定輸出。
為了解決存儲和擴容問題，團隊用互聯(lián)網(wǎng)公司標準，搭建了基于Hadoop框架的分布式計算存儲平臺，輔以領(lǐng)域內(nèi)先進的Flink/Spark實時計算引擎，建立起包含100多個節(jié)點的服務(wù)器布局，讓系統(tǒng)可以無限擴容的同時，還具有了大批量的離線數(shù)據(jù)處理及“秒級”計算能力。然后，系統(tǒng)抓取易鑫近百個系統(tǒng)中的源數(shù)據(jù)，并進行全面“清洗”，再根據(jù)業(yè)務(wù)邏輯將數(shù)據(jù)按照“業(yè)務(wù)對象”、“業(yè)務(wù)周期”、“用戶”等不同主題模型化，進行分門別類的存儲。“就像把不同工廠生產(chǎn)的衣物鞋帽，按照上衣、下裝、鞋襪、配件等打上分類標簽，或者按照男人、女人、小孩等適用場景分到不同倉庫中，讓數(shù)據(jù)井然有序。”老秦解釋說。
“當中最難的，是如何將分屬不同系統(tǒng)中的數(shù)據(jù)，劃歸到統(tǒng)一的標準口徑下。”作為“智能數(shù)倉”核心數(shù)據(jù)工程師的馬維直言，來易鑫之前，自己從未如此貼近過業(yè)務(wù)：“互聯(lián)網(wǎng)公司的數(shù)據(jù)，都是IP、瀏覽等定義清晰的字段。但在易鑫，各個汽車金融業(yè)務(wù)之間并沒有百分百的對應關(guān)系，每當業(yè)務(wù)系統(tǒng)出現(xiàn)一個新字段，都需要重新定義。”
她舉例說，比如客戶流失率，易鑫風控審核的多級漏斗是一個自行設(shè)計的業(yè)務(wù)流程，很難從歷史數(shù)據(jù)庫中找到準確匹配的字段。系統(tǒng)按照自定義的內(nèi)容提供了客戶流失數(shù)據(jù)，很快被業(yè)務(wù)部門發(fā)現(xiàn)不符合常理。經(jīng)過“智能數(shù)倉”技術(shù)團隊和業(yè)務(wù)端反復比對數(shù)據(jù)源后，最終找到了原因，隨后又從源頭重新定義數(shù)據(jù)指標，這才得出了合理結(jié)果。“因為沒有歷史參照，數(shù)據(jù)指標很難一次性定義得非常準確，我們需要大量的數(shù)據(jù)做驗證。這在小型汽車金融企業(yè)是無法辦到的。”馬維說。
目前，易鑫“智能數(shù)倉”每天接收并處理來自近百個業(yè)務(wù)系統(tǒng)的大約1.5TB數(shù)據(jù)，并行處理超過1萬個計算任務(wù);多種維度的數(shù)據(jù)，可以通過手機、PC端實時展示，或處理為既定指標和數(shù)據(jù)包，定期發(fā)送到各個業(yè)務(wù)端，以支持公司各個層面的業(yè)務(wù)運作，成為名副其實的“核心大腦”。
上圖：易鑫“智能數(shù)倉”團隊在討論問題
從數(shù)據(jù)平臺到數(shù)據(jù)服務(wù)中臺
福珍是易鑫資產(chǎn)管理部經(jīng)理，需要以日為單位統(tǒng)計資產(chǎn)質(zhì)量情況。之前她只能通過手工表格的方式傳遞信息，現(xiàn)在只需在系統(tǒng)中輕輕一點，“智能數(shù)倉”中的BI模塊就能按照她設(shè)定的規(guī)則，隨時展現(xiàn)匯總結(jié)果。這一切得益于“智能數(shù)倉”開發(fā)的數(shù)據(jù)中臺服務(wù)。
為滿足業(yè)務(wù)部門對數(shù)據(jù)的使用要求，目前“智能數(shù)倉”提供了三種形式的數(shù)據(jù)服務(wù)。通過易鑫的“通天曉”服務(wù)端，用戶可以看到上百種不同維度、不同口徑的數(shù)據(jù)，滿足各個業(yè)務(wù)部門對定制數(shù)據(jù)的要求;而在BI平臺提供的數(shù)據(jù)中臺，福珍這樣的業(yè)務(wù)人員可根據(jù)需要自定義數(shù)據(jù)規(guī)則，設(shè)計屬于自己的數(shù)據(jù)報表。此外，“智能數(shù)倉”還支持向公司十數(shù)個業(yè)務(wù)系統(tǒng)提供統(tǒng)一標準的數(shù)據(jù)接口，按照既定規(guī)則自動向業(yè)務(wù)系統(tǒng)派發(fā)作業(yè)任務(wù)。
“我們希望將‘技術(shù)’數(shù)倉向‘業(yè)務(wù)’數(shù)倉轉(zhuǎn)變。為此，我們正在搭建業(yè)務(wù)中臺，開發(fā)各種輔助工具讓普通業(yè)務(wù)人員經(jīng)過簡單技能培訓，就能更方便地通過‘智能數(shù)倉’進行工作。”徐飛介紹，目前易鑫已開發(fā)出多項輔助支持工具，如“數(shù)詢”，可以讓使用者快速查詢獲取數(shù)據(jù);“數(shù)語”提供所有數(shù)據(jù)的精確描述，能夠幫助業(yè)務(wù)人員追索數(shù)據(jù)源頭和流向;“數(shù)診”則能根據(jù)自定義規(guī)則對字段內(nèi)容準確性進行評估、診斷、預警等。
更多使用者，意味著更大的風險存在。汽車金融行業(yè)的特性，要求系統(tǒng)對消費者個人信息進行嚴格的保護。為此，易鑫從2018年開始就嚴格規(guī)范系統(tǒng)內(nèi)對消費者個人信息的使用。在業(yè)務(wù)端，所有個人信息提取都必須進過授權(quán)，進入“智能數(shù)倉”系統(tǒng)內(nèi)的消費者敏感信息都進行了分級、加密和脫敏處理，所有對外輸出信息都用加密字段進行傳輸，最大可能地保護了數(shù)據(jù)的安全使用和消費者信息不外泄。
在徐飛心中，“智能數(shù)倉”不是一種產(chǎn)品而是一種服務(wù)，是易鑫在服務(wù)200多萬客戶基礎(chǔ)上，錘煉出的一種基于汽車金融場景的智能數(shù)據(jù)服務(wù)。它的高效、穩(wěn)定運營，可精準展現(xiàn)各個業(yè)務(wù)的關(guān)鍵環(huán)節(jié)信息，幫助業(yè)務(wù)端更快、更高效地服務(wù)于消費者。
上圖：易鑫“智能數(shù)倉”團隊部分成員
數(shù)據(jù)賦能業(yè)務(wù)，驅(qū)動企業(yè)成長
數(shù)據(jù)賦能業(yè)務(wù)的成果正在展現(xiàn)。借助“智能數(shù)倉”提供的數(shù)據(jù)支持，易鑫的技術(shù)部門重新定義了風控標準，將原本“一刀切”的審核標準改為基于一定風險系數(shù)配比的綜合考量模型。經(jīng)評估，客戶的履約表現(xiàn)明顯優(yōu)于同期行業(yè)整體水平;易鑫產(chǎn)品部也在依托資方分析模塊的數(shù)據(jù)，和資方合作伙伴一起探討新的金融方案，比如向客戶提供更有彈性的汽車融資方案，以滿足多元化、個性化的消費者需求。
“‘智能數(shù)倉’是易鑫智能商業(yè)的基礎(chǔ)設(shè)施。自確定‘Tech+Fin’的發(fā)展戰(zhàn)略以來，易鑫一直致力于將‘數(shù)據(jù)提供的知識’應用到經(jīng)營分析和管理決策中，將汽車金融業(yè)務(wù)的運營由傳統(tǒng)的‘人治’變?yōu)橛蓹C器和算法管理的新模式。”易鑫CTO賈志峰說：“就我們所調(diào)研和了解的范圍來看，易鑫‘智能數(shù)倉’的業(yè)務(wù)和服務(wù)能力已經(jīng)能夠滿足現(xiàn)有汽車金融企業(yè)的各項需求，甚至具備相當程度的跨行業(yè)數(shù)據(jù)管理能力。我們也正在和行業(yè)頭部的金融機構(gòu)、汽車廠商，和互聯(lián)網(wǎng)公司開拓新的業(yè)務(wù)模式，希望提高彼此的運營效率，達到行業(yè)共贏。”
沿著“Tech+Fin”的核心發(fā)展思路，易鑫正在積極從行業(yè)‘先行者’往‘播種者’的角色轉(zhuǎn)換，通過輸出技術(shù)能力，來提升汽車金融行業(yè)整體數(shù)據(jù)智能化管理水平，將是易鑫的下一個目標。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
