百信銀行流式計算平臺在消費信貸風險監(jiān)控項目落地

中國金融信息網(wǎng)訊 作為人工智能時代下互聯(lián)網(wǎng)銀行的代表,百信銀行信息技術部創(chuàng)新推出了基于開源JStorm技術的百信銀行流式計算平臺aiStream,并在消費信貸風險監(jiān)控項目快速落地。流式計算平臺后續(xù)將在不同的領域進行深度應用,助力全行業(yè)務加速。

背景

aiStream悄然誕生

百信銀行的開業(yè)是 “2017年中國銀行業(yè)十件大事”之一,作為人工智能時代下互聯(lián)網(wǎng)銀行的代表,百信銀行堅持智能普惠的定位,利用人工智能等技術,開啟了“金融+互聯(lián)網(wǎng)+人工智能”的新金融發(fā)展模式。在新時代下,“直面客戶+快速響應”的互聯(lián)網(wǎng)特征,“分布式+去IOE”的全新系統(tǒng)架構對銀行IT建設提出了極大的挑戰(zhàn):如何準確感知客戶當前需求?如何解決風控授信等業(yè)務場景實時性不足的困難?如何快速解決分布式賬務異常、定位問題?如何解決傳統(tǒng)銀行批量方式數(shù)據(jù)實時性差……這一系列問題對數(shù)據(jù)提出很高的數(shù)量、速度要求,還要兼顧金融交易的復雜性和實時性要求,而解決這些問題的答案正是流式大數(shù)據(jù)處理技術。

百信銀行積極探索人工智能和大數(shù)據(jù)技術在金融場景的應用,百信銀行信息技術部順勢而為,自主研發(fā),創(chuàng)新推出了基于開源JStorm技術的百信銀行流式計算平臺aiStream,并在消費信貸風險監(jiān)控項目快速落地,為全行第一款產(chǎn)品保駕護航。由此,流式計算平臺項目成功入選了百信銀行業(yè)務創(chuàng)新管理委員會“蒲公英計劃”,后續(xù)將在不同的領域進行深度應用,助力全行業(yè)務加速。

什么是流式計算

數(shù)據(jù)連續(xù)產(chǎn)生,并被實時采集和計算

數(shù)據(jù)往往隨著時間推進連續(xù)產(chǎn)生,比如客戶用手機APP購買理財,從開戶綁卡-理財產(chǎn)品選購-付款確認等一系列點擊操作,會產(chǎn)生一連串的后臺數(shù)據(jù),這背后生成的數(shù)據(jù)都是連續(xù)產(chǎn)生的。連續(xù)產(chǎn)生的業(yè)務數(shù)據(jù),又被實時采集起來,就形成了數(shù)據(jù)流。流式數(shù)據(jù)一經(jīng)采集,就可以立即參與計算,同時將計算結果投入到業(yè)務分析應用中,這就是實時計算。

分布式實時流式計算面臨很多挑戰(zhàn):數(shù)據(jù)從“采集-計算-輸出”全過程需要保證低延遲,除計算節(jié)點本身可采用“增量計算”模型,上游數(shù)據(jù)傳輸模塊也應具有高吞吐能力和數(shù)據(jù)緩存能力,以便在大流量場景下起緩沖作用,下游輸出模塊也需要做數(shù)據(jù)壓縮、批量輸出等優(yōu)化,確保輸出結果的實時性;此外分布式系統(tǒng)單點故障時有發(fā)生,實時流計算系統(tǒng)必須有強故障恢復能力,當故障發(fā)生時,系統(tǒng)快速恢復,避免出現(xiàn)系統(tǒng)輸出更新停滯,無法保障實時性。

1

百信銀行流式計算平臺aiStream完全自主開發(fā),設計中充分考慮了分布式實時流式計算的難點,采用了主流的計算框架,基于分布式內存并行計算,解決離線大數(shù)據(jù)和近線大數(shù)據(jù)實時融合處理等技術難題。支持海量數(shù)據(jù)高性能分析,同時引入了一系列創(chuàng)新技術,在可靠性、一致性、可用性、可擴展性等多層面提升了開源流處理平臺的處理能力。

流式計算平臺的應用領域

百搭的應用加速器,廣泛適用性

百信銀行流式計算平臺aiStream以解決行業(yè)痛點為出發(fā)點,從銀行當前迫切需要解決的實時風控、去批量等問題出發(fā),通過靈活的架構設計與規(guī)劃,構建安全、穩(wěn)定、可靠的基礎平臺,滿足SaaS層差異化和多樣性的定制化需求。流式計算平臺提供如下兩項核心服務:

實時數(shù)據(jù)總線

實時處理增量數(shù)據(jù),提供不同數(shù)據(jù)源到目標存儲介質的數(shù)據(jù)管道,支持源與目標之間單對單,單對多,多對單,多對多的關聯(lián),支持數(shù)據(jù)管道的擴展與合并。整個系統(tǒng)具有功能擴展性和銀行級要求的容錯性。

百信銀行流式計算平臺aiStream目前已將18種數(shù)據(jù)源,23種目標輸出列入支持計劃,包括常見的關系/非關系數(shù)據(jù)庫、消息中間件、多種文件存儲及各類系統(tǒng)間接口等,未來還會不斷增加支持的內容。

實時數(shù)據(jù)計算

利用流計算引擎的實時計算特性,對數(shù)據(jù)管道中流轉的數(shù)據(jù)進行實時加工與計算,并將結果返回到預先規(guī)劃目標介質(如數(shù)據(jù)庫、內存、文件或者其他存儲介質)中。

百信銀行流式計算平臺aiStream支持拆分、合并、缺失值填充、類型轉換等15種預處理模式及特征過濾、特征離散、特征尺度變換等15種特征工程處理能力,平臺將這些能力封裝成基礎組件,提供通用接口,支持業(yè)務模塊低成本快速接入,根據(jù)業(yè)務需求靈活組合使用和業(yè)務集成,實現(xiàn)“數(shù)據(jù)驅動業(yè)務”。

作為通用基礎平臺,百信銀行流式計算平臺aiStream能夠對海量數(shù)據(jù)進行實時計算處理,廣泛適用于金融銀行、互聯(lián)網(wǎng)領域,能夠為個性化數(shù)據(jù)需求,提供“海量、精準、實時”的個性化數(shù)據(jù)服務。系統(tǒng)服務領域覆蓋客戶營銷、風險管理、營運管理、運維管理等。

2

2

流式計算平臺的未來展望

打造實時數(shù)據(jù)服務生態(tài)

流式計算作為百搭數(shù)據(jù)加速器,具有加快數(shù)據(jù)流轉、提高數(shù)據(jù)價值的普適性。未來將會有越來越多的實時計算場景,除了文本計算實時化,圖像、語音計算也可以實時化,還有在線機器學習等。實時數(shù)據(jù)以及實時流計算場景的類型都是指數(shù)增長的,實時計算引擎要求也會越來越高。

同時,作為源自百信銀行的技術平臺,aiStream首先應用的領域就是對數(shù)據(jù)準確性和數(shù)據(jù)價值有著最高敏感性的金融領域尤其是銀行業(yè),對于系統(tǒng)的高可用和容錯性在一開始就是以最高標準來要求。同時整個系統(tǒng)的建設規(guī)劃也必須建立在對于金融領域交易場景和數(shù)據(jù)分析需求的深入理解上,才能保證系統(tǒng)對百信內部以及未來對外部業(yè)務需求的高效接入。誕生于百信銀行的aiStream平臺,在技術和業(yè)務結合上,有著先天的優(yōu)勢。

百信銀行流式計算平臺aiStream將繼續(xù)加大技術研發(fā)投入,并與開源社區(qū)更加密切地合作,突進流式計算的發(fā)展,致力于打造一流的流式計算平臺。一方面,內部創(chuàng)新,支持消費信貸、理財?shù)雀魇聵I(yè)部的主航道業(yè)務,利用實時數(shù)據(jù)服務能力,提升業(yè)務的核心競爭力:繼續(xù)擴大計算規(guī)模,推出內部統(tǒng)一實時計算服務框架,針對實時處理海量數(shù)據(jù),提供在線統(tǒng)計、學習和預測能力;另一方面通過云服務向外界輸出實時計算能力,讓更多中小金融企業(yè)和用戶享受到百信銀行實時計算的技術成果。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2018-01-25
百信銀行流式計算平臺在消費信貸風險監(jiān)控項目落地
作為人工智能時代下互聯(lián)網(wǎng)銀行的代表,百信銀行信息技術部創(chuàng)新推出了基于開源JStorm技術的百信銀行流式計算平臺aiStream,并在消費信貸風險監(jiān)控項目快速落地。

長按掃碼 閱讀全文