百信銀行流式計算平臺在消費信貸風險監(jiān)控項目落地

中國金融信息網(wǎng)訊 作為人工智能時代下互聯(lián)網(wǎng)銀行的代表，百信銀行信息技術部創(chuàng)新推出了基于開源JStorm技術的百信銀行流式計算平臺aiStream，并在消費信貸風險監(jiān)控項目快速落地。流式計算平臺后續(xù)將在不同的領域進行深度應用，助力全行業(yè)務加速。

背景

aiStream悄然誕生

百信銀行的開業(yè)是 “2017年中國銀行業(yè)十件大事”之一，作為人工智能時代下互聯(lián)網(wǎng)銀行的代表，百信銀行堅持智能普惠的定位，利用人工智能等技術，開啟了“金融+互聯(lián)網(wǎng)+人工智能”的新金融發(fā)展模式。在新時代下，“直面客戶+快速響應”的互聯(lián)網(wǎng)特征，“分布式+去IOE”的全新系統(tǒng)架構對銀行IT建設提出了極大的挑戰(zhàn)：如何準確感知客戶當前需求？如何解決風控授信等業(yè)務場景實時性不足的困難？如何快速解決分布式賬務異常、定位問題？如何解決傳統(tǒng)銀行批量方式數(shù)據(jù)實時性差……這一系列問題對數(shù)據(jù)提出很高的數(shù)量、速度要求，還要兼顧金融交易的復雜性和實時性要求，而解決這些問題的答案正是流式大數(shù)據(jù)處理技術。

百信銀行積極探索人工智能和大數(shù)據(jù)技術在金融場景的應用，百信銀行信息技術部順勢而為，自主研發(fā)，創(chuàng)新推出了基于開源JStorm技術的百信銀行流式計算平臺aiStream，并在消費信貸風險監(jiān)控項目快速落地，為全行第一款產(chǎn)品保駕護航。由此，流式計算平臺項目成功入選了百信銀行業(yè)務創(chuàng)新管理委員會“蒲公英計劃”，后續(xù)將在不同的領域進行深度應用，助力全行業(yè)務加速。

什么是流式計算

數(shù)據(jù)連續(xù)產(chǎn)生，并被實時采集和計算

數(shù)據(jù)往往隨著時間推進連續(xù)產(chǎn)生，比如客戶用手機APP購買理財，從開戶綁卡-理財產(chǎn)品選購-付款確認等一系列點擊操作，會產(chǎn)生一連串的后臺數(shù)據(jù)，這背后生成的數(shù)據(jù)都是連續(xù)產(chǎn)生的。連續(xù)產(chǎn)生的業(yè)務數(shù)據(jù)，又被實時采集起來，就形成了數(shù)據(jù)流。流式數(shù)據(jù)一經(jīng)采集，就可以立即參與計算，同時將計算結果投入到業(yè)務分析應用中，這就是實時計算。

分布式實時流式計算面臨很多挑戰(zhàn)：數(shù)據(jù)從“采集-計算-輸出”全過程需要保證低延遲，除計算節(jié)點本身可采用“增量計算”模型，上游數(shù)據(jù)傳輸模塊也應具有高吞吐能力和數(shù)據(jù)緩存能力，以便在大流量場景下起緩沖作用，下游輸出模塊也需要做數(shù)據(jù)壓縮、批量輸出等優(yōu)化，確保輸出結果的實時性；此外分布式系統(tǒng)單點故障時有發(fā)生，實時流計算系統(tǒng)必須有強故障恢復能力，當故障發(fā)生時，系統(tǒng)快速恢復，避免出現(xiàn)系統(tǒng)輸出更新停滯，無法保障實時性。

百信銀行流式計算平臺aiStream完全自主開發(fā)，設計中充分考慮了分布式實時流式計算的難點，采用了主流的計算框架，基于分布式內存并行計算，解決離線大數(shù)據(jù)和近線大數(shù)據(jù)實時融合處理等技術難題。支持海量數(shù)據(jù)高性能分析，同時引入了一系列創(chuàng)新技術，在可靠性、一致性、可用性、可擴展性等多層面提升了開源流處理平臺的處理能力。

流式計算平臺的應用領域

百搭的應用加速器，廣泛適用性

百信銀行流式計算平臺aiStream以解決行業(yè)痛點為出發(fā)點，從銀行當前迫切需要解決的實時風控、去批量等問題出發(fā)，通過靈活的架構設計與規(guī)劃，構建安全、穩(wěn)定、可靠的基礎平臺，滿足SaaS層差異化和多樣性的定制化需求。流式計算平臺提供如下兩項核心服務：

實時數(shù)據(jù)總線

實時處理增量數(shù)據(jù)，提供不同數(shù)據(jù)源到目標存儲介質的數(shù)據(jù)管道，支持源與目標之間單對單，單對多，多對單，多對多的關聯(lián)，支持數(shù)據(jù)管道的擴展與合并。整個系統(tǒng)具有功能擴展性和銀行級要求的容錯性。

百信銀行流式計算平臺aiStream目前已將18種數(shù)據(jù)源，23種目標輸出列入支持計劃，包括常見的關系/非關系數(shù)據(jù)庫、消息中間件、多種文件存儲及各類系統(tǒng)間接口等，未來還會不斷增加支持的內容。

實時數(shù)據(jù)計算

利用流計算引擎的實時計算特性，對數(shù)據(jù)管道中流轉的數(shù)據(jù)進行實時加工與計算，并將結果返回到預先規(guī)劃目標介質（如數(shù)據(jù)庫、內存、文件或者其他存儲介質）中。

百信銀行流式計算平臺aiStream支持拆分、合并、缺失值填充、類型轉換等15種預處理模式及特征過濾、特征離散、特征尺度變換等15種特征工程處理能力，平臺將這些能力封裝成基礎組件，提供通用接口，支持業(yè)務模塊低成本快速接入，根據(jù)業(yè)務需求靈活組合使用和業(yè)務集成，實現(xiàn)“數(shù)據(jù)驅動業(yè)務”。

作為通用基礎平臺，百信銀行流式計算平臺aiStream能夠對海量數(shù)據(jù)進行實時計算處理，廣泛適用于金融銀行、互聯(lián)網(wǎng)領域，能夠為個性化數(shù)據(jù)需求，提供“海量、精準、實時”的個性化數(shù)據(jù)服務。系統(tǒng)服務領域覆蓋客戶營銷、風險管理、營運管理、運維管理等。

2

流式計算平臺的未來展望

打造實時數(shù)據(jù)服務生態(tài)

流式計算作為百搭數(shù)據(jù)加速器，具有加快數(shù)據(jù)流轉、提高數(shù)據(jù)價值的普適性。未來將會有越來越多的實時計算場景，除了文本計算實時化，圖像、語音計算也可以實時化，還有在線機器學習等。實時數(shù)據(jù)以及實時流計算場景的類型都是指數(shù)增長的，實時計算引擎要求也會越來越高。

同時，作為源自百信銀行的技術平臺，aiStream首先應用的領域就是對數(shù)據(jù)準確性和數(shù)據(jù)價值有著最高敏感性的金融領域尤其是銀行業(yè)，對于系統(tǒng)的高可用和容錯性在一開始就是以最高標準來要求。同時整個系統(tǒng)的建設規(guī)劃也必須建立在對于金融領域交易場景和數(shù)據(jù)分析需求的深入理解上，才能保證系統(tǒng)對百信內部以及未來對外部業(yè)務需求的高效接入。誕生于百信銀行的aiStream平臺，在技術和業(yè)務結合上，有著先天的優(yōu)勢。

百信銀行流式計算平臺aiStream將繼續(xù)加大技術研發(fā)投入，并與開源社區(qū)更加密切地合作，突進流式計算的發(fā)展，致力于打造一流的流式計算平臺。一方面，內部創(chuàng)新，支持消費信貸、理財?shù)雀魇聵I(yè)部的主航道業(yè)務，利用實時數(shù)據(jù)服務能力，提升業(yè)務的核心競爭力：繼續(xù)擴大計算規(guī)模，推出內部統(tǒng)一實時計算服務框架，針對實時處理海量數(shù)據(jù)，提供在線統(tǒng)計、學習和預測能力；另一方面通過云服務向外界輸出實時計算能力，讓更多中小金融企業(yè)和用戶享受到百信銀行實時計算的技術成果。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。