百信銀行流式計算平臺在消費信貸風(fēng)險監(jiān)控項目落地

中國金融信息網(wǎng)訊 作為人工智能時代下互聯(lián)網(wǎng)銀行的代表，百信銀行信息技術(shù)部創(chuàng)新推出了基于開源JStorm技術(shù)的百信銀行流式計算平臺aiStream，并在消費信貸風(fēng)險監(jiān)控項目快速落地。流式計算平臺后續(xù)將在不同的領(lǐng)域進(jìn)行深度應(yīng)用，助力全行業(yè)務(wù)加速。

背景

aiStream悄然誕生

百信銀行的開業(yè)是 “2017年中國銀行業(yè)十件大事”之一，作為人工智能時代下互聯(lián)網(wǎng)銀行的代表，百信銀行堅持智能普惠的定位，利用人工智能等技術(shù)，開啟了“金融+互聯(lián)網(wǎng)+人工智能”的新金融發(fā)展模式。在新時代下，“直面客戶+快速響應(yīng)”的互聯(lián)網(wǎng)特征，“分布式+去IOE”的全新系統(tǒng)架構(gòu)對銀行IT建設(shè)提出了極大的挑戰(zhàn)：如何準(zhǔn)確感知客戶當(dāng)前需求？如何解決風(fēng)控授信等業(yè)務(wù)場景實時性不足的困難？如何快速解決分布式賬務(wù)異常、定位問題？如何解決傳統(tǒng)銀行批量方式數(shù)據(jù)實時性差……這一系列問題對數(shù)據(jù)提出很高的數(shù)量、速度要求，還要兼顧金融交易的復(fù)雜性和實時性要求，而解決這些問題的答案正是流式大數(shù)據(jù)處理技術(shù)。

百信銀行積極探索人工智能和大數(shù)據(jù)技術(shù)在金融場景的應(yīng)用，百信銀行信息技術(shù)部順勢而為，自主研發(fā)，創(chuàng)新推出了基于開源JStorm技術(shù)的百信銀行流式計算平臺aiStream，并在消費信貸風(fēng)險監(jiān)控項目快速落地，為全行第一款產(chǎn)品保駕護(hù)航。由此，流式計算平臺項目成功入選了百信銀行業(yè)務(wù)創(chuàng)新管理委員會“蒲公英計劃”，后續(xù)將在不同的領(lǐng)域進(jìn)行深度應(yīng)用，助力全行業(yè)務(wù)加速。

什么是流式計算

數(shù)據(jù)連續(xù)產(chǎn)生，并被實時采集和計算

數(shù)據(jù)往往隨著時間推進(jìn)連續(xù)產(chǎn)生，比如客戶用手機APP購買理財，從開戶綁卡-理財產(chǎn)品選購-付款確認(rèn)等一系列點擊操作，會產(chǎn)生一連串的后臺數(shù)據(jù)，這背后生成的數(shù)據(jù)都是連續(xù)產(chǎn)生的。連續(xù)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，又被實時采集起來，就形成了數(shù)據(jù)流。流式數(shù)據(jù)一經(jīng)采集，就可以立即參與計算，同時將計算結(jié)果投入到業(yè)務(wù)分析應(yīng)用中，這就是實時計算。

分布式實時流式計算面臨很多挑戰(zhàn)：數(shù)據(jù)從“采集-計算-輸出”全過程需要保證低延遲，除計算節(jié)點本身可采用“增量計算”模型，上游數(shù)據(jù)傳輸模塊也應(yīng)具有高吞吐能力和數(shù)據(jù)緩存能力，以便在大流量場景下起緩沖作用，下游輸出模塊也需要做數(shù)據(jù)壓縮、批量輸出等優(yōu)化，確保輸出結(jié)果的實時性；此外分布式系統(tǒng)單點故障時有發(fā)生，實時流計算系統(tǒng)必須有強故障恢復(fù)能力，當(dāng)故障發(fā)生時，系統(tǒng)快速恢復(fù)，避免出現(xiàn)系統(tǒng)輸出更新停滯，無法保障實時性。

百信銀行流式計算平臺aiStream完全自主開發(fā)，設(shè)計中充分考慮了分布式實時流式計算的難點，采用了主流的計算框架，基于分布式內(nèi)存并行計算，解決離線大數(shù)據(jù)和近線大數(shù)據(jù)實時融合處理等技術(shù)難題。支持海量數(shù)據(jù)高性能分析，同時引入了一系列創(chuàng)新技術(shù)，在可靠性、一致性、可用性、可擴(kuò)展性等多層面提升了開源流處理平臺的處理能力。

流式計算平臺的應(yīng)用領(lǐng)域

百搭的應(yīng)用加速器，廣泛適用性

百信銀行流式計算平臺aiStream以解決行業(yè)痛點為出發(fā)點，從銀行當(dāng)前迫切需要解決的實時風(fēng)控、去批量等問題出發(fā)，通過靈活的架構(gòu)設(shè)計與規(guī)劃，構(gòu)建安全、穩(wěn)定、可靠的基礎(chǔ)平臺，滿足SaaS層差異化和多樣性的定制化需求。流式計算平臺提供如下兩項核心服務(wù)：

實時數(shù)據(jù)總線

實時處理增量數(shù)據(jù)，提供不同數(shù)據(jù)源到目標(biāo)存儲介質(zhì)的數(shù)據(jù)管道，支持源與目標(biāo)之間單對單，單對多，多對單，多對多的關(guān)聯(lián)，支持?jǐn)?shù)據(jù)管道的擴(kuò)展與合并。整個系統(tǒng)具有功能擴(kuò)展性和銀行級要求的容錯性。

百信銀行流式計算平臺aiStream目前已將18種數(shù)據(jù)源，23種目標(biāo)輸出列入支持計劃，包括常見的關(guān)系/非關(guān)系數(shù)據(jù)庫、消息中間件、多種文件存儲及各類系統(tǒng)間接口等，未來還會不斷增加支持的內(nèi)容。

實時數(shù)據(jù)計算

利用流計算引擎的實時計算特性，對數(shù)據(jù)管道中流轉(zhuǎn)的數(shù)據(jù)進(jìn)行實時加工與計算，并將結(jié)果返回到預(yù)先規(guī)劃目標(biāo)介質(zhì)（如數(shù)據(jù)庫、內(nèi)存、文件或者其他存儲介質(zhì)）中。

百信銀行流式計算平臺aiStream支持拆分、合并、缺失值填充、類型轉(zhuǎn)換等15種預(yù)處理模式及特征過濾、特征離散、特征尺度變換等15種特征工程處理能力，平臺將這些能力封裝成基礎(chǔ)組件，提供通用接口，支持業(yè)務(wù)模塊低成本快速接入，根據(jù)業(yè)務(wù)需求靈活組合使用和業(yè)務(wù)集成，實現(xiàn)“數(shù)據(jù)驅(qū)動業(yè)務(wù)”。

作為通用基礎(chǔ)平臺，百信銀行流式計算平臺aiStream能夠?qū)Ａ繑?shù)據(jù)進(jìn)行實時計算處理，廣泛適用于金融銀行、互聯(lián)網(wǎng)領(lǐng)域，能夠為個性化數(shù)據(jù)需求，提供“海量、精準(zhǔn)、實時”的個性化數(shù)據(jù)服務(wù)。系統(tǒng)服務(wù)領(lǐng)域覆蓋客戶營銷、風(fēng)險管理、營運管理、運維管理等。

2

流式計算平臺的未來展望

打造實時數(shù)據(jù)服務(wù)生態(tài)

流式計算作為百搭數(shù)據(jù)加速器，具有加快數(shù)據(jù)流轉(zhuǎn)、提高數(shù)據(jù)價值的普適性。未來將會有越來越多的實時計算場景，除了文本計算實時化，圖像、語音計算也可以實時化，還有在線機器學(xué)習(xí)等。實時數(shù)據(jù)以及實時流計算場景的類型都是指數(shù)增長的，實時計算引擎要求也會越來越高。

同時，作為源自百信銀行的技術(shù)平臺，aiStream首先應(yīng)用的領(lǐng)域就是對數(shù)據(jù)準(zhǔn)確性和數(shù)據(jù)價值有著最高敏感性的金融領(lǐng)域尤其是銀行業(yè)，對于系統(tǒng)的高可用和容錯性在一開始就是以最高標(biāo)準(zhǔn)來要求。同時整個系統(tǒng)的建設(shè)規(guī)劃也必須建立在對于金融領(lǐng)域交易場景和數(shù)據(jù)分析需求的深入理解上，才能保證系統(tǒng)對百信內(nèi)部以及未來對外部業(yè)務(wù)需求的高效接入。誕生于百信銀行的aiStream平臺，在技術(shù)和業(yè)務(wù)結(jié)合上，有著先天的優(yōu)勢。

百信銀行流式計算平臺aiStream將繼續(xù)加大技術(shù)研發(fā)投入，并與開源社區(qū)更加密切地合作，突進(jìn)流式計算的發(fā)展，致力于打造一流的流式計算平臺。一方面，內(nèi)部創(chuàng)新，支持消費信貸、理財?shù)雀魇聵I(yè)部的主航道業(yè)務(wù)，利用實時數(shù)據(jù)服務(wù)能力，提升業(yè)務(wù)的核心競爭力：繼續(xù)擴(kuò)大計算規(guī)模，推出內(nèi)部統(tǒng)一實時計算服務(wù)框架，針對實時處理海量數(shù)據(jù)，提供在線統(tǒng)計、學(xué)習(xí)和預(yù)測能力；另一方面通過云服務(wù)向外界輸出實時計算能力，讓更多中小金融企業(yè)和用戶享受到百信銀行實時計算的技術(shù)成果。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。