中國金融信息網(wǎng)訊 作為人工智能時代下互聯(lián)網(wǎng)銀行的代表,百信銀行信息技術(shù)部創(chuàng)新推出了基于開源JStorm技術(shù)的百信銀行流式計算平臺aiStream,并在消費信貸風(fēng)險監(jiān)控項目快速落地。流式計算平臺后續(xù)將在不同的領(lǐng)域進(jìn)行深度應(yīng)用,助力全行業(yè)務(wù)加速。
背景
aiStream悄然誕生
百信銀行的開業(yè)是 “2017年中國銀行業(yè)十件大事”之一,作為人工智能時代下互聯(lián)網(wǎng)銀行的代表,百信銀行堅持智能普惠的定位,利用人工智能等技術(shù),開啟了“金融+互聯(lián)網(wǎng)+人工智能”的新金融發(fā)展模式。在新時代下,“直面客戶+快速響應(yīng)”的互聯(lián)網(wǎng)特征,“分布式+去IOE”的全新系統(tǒng)架構(gòu)對銀行IT建設(shè)提出了極大的挑戰(zhàn):如何準(zhǔn)確感知客戶當(dāng)前需求?如何解決風(fēng)控授信等業(yè)務(wù)場景實時性不足的困難?如何快速解決分布式賬務(wù)異常、定位問題?如何解決傳統(tǒng)銀行批量方式數(shù)據(jù)實時性差……這一系列問題對數(shù)據(jù)提出很高的數(shù)量、速度要求,還要兼顧金融交易的復(fù)雜性和實時性要求,而解決這些問題的答案正是流式大數(shù)據(jù)處理技術(shù)。
百信銀行積極探索人工智能和大數(shù)據(jù)技術(shù)在金融場景的應(yīng)用,百信銀行信息技術(shù)部順勢而為,自主研發(fā),創(chuàng)新推出了基于開源JStorm技術(shù)的百信銀行流式計算平臺aiStream,并在消費信貸風(fēng)險監(jiān)控項目快速落地,為全行第一款產(chǎn)品保駕護(hù)航。由此,流式計算平臺項目成功入選了百信銀行業(yè)務(wù)創(chuàng)新管理委員會“蒲公英計劃”,后續(xù)將在不同的領(lǐng)域進(jìn)行深度應(yīng)用,助力全行業(yè)務(wù)加速。
什么是流式計算
數(shù)據(jù)連續(xù)產(chǎn)生,并被實時采集和計算
數(shù)據(jù)往往隨著時間推進(jìn)連續(xù)產(chǎn)生,比如客戶用手機APP購買理財,從開戶綁卡-理財產(chǎn)品選購-付款確認(rèn)等一系列點擊操作,會產(chǎn)生一連串的后臺數(shù)據(jù),這背后生成的數(shù)據(jù)都是連續(xù)產(chǎn)生的。連續(xù)產(chǎn)生的業(yè)務(wù)數(shù)據(jù),又被實時采集起來,就形成了數(shù)據(jù)流。流式數(shù)據(jù)一經(jīng)采集,就可以立即參與計算,同時將計算結(jié)果投入到業(yè)務(wù)分析應(yīng)用中,這就是實時計算。
分布式實時流式計算面臨很多挑戰(zhàn):數(shù)據(jù)從“采集-計算-輸出”全過程需要保證低延遲,除計算節(jié)點本身可采用“增量計算”模型,上游數(shù)據(jù)傳輸模塊也應(yīng)具有高吞吐能力和數(shù)據(jù)緩存能力,以便在大流量場景下起緩沖作用,下游輸出模塊也需要做數(shù)據(jù)壓縮、批量輸出等優(yōu)化,確保輸出結(jié)果的實時性;此外分布式系統(tǒng)單點故障時有發(fā)生,實時流計算系統(tǒng)必須有強故障恢復(fù)能力,當(dāng)故障發(fā)生時,系統(tǒng)快速恢復(fù),避免出現(xiàn)系統(tǒng)輸出更新停滯,無法保障實時性。
百信銀行流式計算平臺aiStream完全自主開發(fā),設(shè)計中充分考慮了分布式實時流式計算的難點,采用了主流的計算框架,基于分布式內(nèi)存并行計算,解決離線大數(shù)據(jù)和近線大數(shù)據(jù)實時融合處理等技術(shù)難題。支持海量數(shù)據(jù)高性能分析,同時引入了一系列創(chuàng)新技術(shù),在可靠性、一致性、可用性、可擴(kuò)展性等多層面提升了開源流處理平臺的處理能力。
流式計算平臺的應(yīng)用領(lǐng)域
百搭的應(yīng)用加速器,廣泛適用性
百信銀行流式計算平臺aiStream以解決行業(yè)痛點為出發(fā)點,從銀行當(dāng)前迫切需要解決的實時風(fēng)控、去批量等問題出發(fā),通過靈活的架構(gòu)設(shè)計與規(guī)劃,構(gòu)建安全、穩(wěn)定、可靠的基礎(chǔ)平臺,滿足SaaS層差異化和多樣性的定制化需求。流式計算平臺提供如下兩項核心服務(wù):
實時數(shù)據(jù)總線
實時處理增量數(shù)據(jù),提供不同數(shù)據(jù)源到目標(biāo)存儲介質(zhì)的數(shù)據(jù)管道,支持源與目標(biāo)之間單對單,單對多,多對單,多對多的關(guān)聯(lián),支持?jǐn)?shù)據(jù)管道的擴(kuò)展與合并。整個系統(tǒng)具有功能擴(kuò)展性和銀行級要求的容錯性。
百信銀行流式計算平臺aiStream目前已將18種數(shù)據(jù)源,23種目標(biāo)輸出列入支持計劃,包括常見的關(guān)系/非關(guān)系數(shù)據(jù)庫、消息中間件、多種文件存儲及各類系統(tǒng)間接口等,未來還會不斷增加支持的內(nèi)容。
實時數(shù)據(jù)計算
利用流計算引擎的實時計算特性,對數(shù)據(jù)管道中流轉(zhuǎn)的數(shù)據(jù)進(jìn)行實時加工與計算,并將結(jié)果返回到預(yù)先規(guī)劃目標(biāo)介質(zhì)(如數(shù)據(jù)庫、內(nèi)存、文件或者其他存儲介質(zhì))中。
百信銀行流式計算平臺aiStream支持拆分、合并、缺失值填充、類型轉(zhuǎn)換等15種預(yù)處理模式及特征過濾、特征離散、特征尺度變換等15種特征工程處理能力,平臺將這些能力封裝成基礎(chǔ)組件,提供通用接口,支持業(yè)務(wù)模塊低成本快速接入,根據(jù)業(yè)務(wù)需求靈活組合使用和業(yè)務(wù)集成,實現(xiàn)“數(shù)據(jù)驅(qū)動業(yè)務(wù)”。
作為通用基礎(chǔ)平臺,百信銀行流式計算平臺aiStream能夠?qū)A繑?shù)據(jù)進(jìn)行實時計算處理,廣泛適用于金融銀行、互聯(lián)網(wǎng)領(lǐng)域,能夠為個性化數(shù)據(jù)需求,提供“海量、精準(zhǔn)、實時”的個性化數(shù)據(jù)服務(wù)。系統(tǒng)服務(wù)領(lǐng)域覆蓋客戶營銷、風(fēng)險管理、營運管理、運維管理等。
2
流式計算平臺的未來展望
打造實時數(shù)據(jù)服務(wù)生態(tài)
流式計算作為百搭數(shù)據(jù)加速器,具有加快數(shù)據(jù)流轉(zhuǎn)、提高數(shù)據(jù)價值的普適性。未來將會有越來越多的實時計算場景,除了文本計算實時化,圖像、語音計算也可以實時化,還有在線機器學(xué)習(xí)等。實時數(shù)據(jù)以及實時流計算場景的類型都是指數(shù)增長的,實時計算引擎要求也會越來越高。
同時,作為源自百信銀行的技術(shù)平臺,aiStream首先應(yīng)用的領(lǐng)域就是對數(shù)據(jù)準(zhǔn)確性和數(shù)據(jù)價值有著最高敏感性的金融領(lǐng)域尤其是銀行業(yè),對于系統(tǒng)的高可用和容錯性在一開始就是以最高標(biāo)準(zhǔn)來要求。同時整個系統(tǒng)的建設(shè)規(guī)劃也必須建立在對于金融領(lǐng)域交易場景和數(shù)據(jù)分析需求的深入理解上,才能保證系統(tǒng)對百信內(nèi)部以及未來對外部業(yè)務(wù)需求的高效接入。誕生于百信銀行的aiStream平臺,在技術(shù)和業(yè)務(wù)結(jié)合上,有著先天的優(yōu)勢。
百信銀行流式計算平臺aiStream將繼續(xù)加大技術(shù)研發(fā)投入,并與開源社區(qū)更加密切地合作,突進(jìn)流式計算的發(fā)展,致力于打造一流的流式計算平臺。一方面,內(nèi)部創(chuàng)新,支持消費信貸、理財?shù)雀魇聵I(yè)部的主航道業(yè)務(wù),利用實時數(shù)據(jù)服務(wù)能力,提升業(yè)務(wù)的核心競爭力:繼續(xù)擴(kuò)大計算規(guī)模,推出內(nèi)部統(tǒng)一實時計算服務(wù)框架,針對實時處理海量數(shù)據(jù),提供在線統(tǒng)計、學(xué)習(xí)和預(yù)測能力;另一方面通過云服務(wù)向外界輸出實時計算能力,讓更多中小金融企業(yè)和用戶享受到百信銀行實時計算的技術(shù)成果。
- 螞蟻國際任命首席創(chuàng)新官,加速推進(jìn)數(shù)字化戰(zhàn)略發(fā)展
- 馬云現(xiàn)身支付寶20周年紀(jì)念日:AI將改變一切,但不意味著決定一切
- 萬事達(dá)卡推出反欺詐AI模型 金融科技擁抱生成式AI
- OpenAI創(chuàng)始人的世界幣懸了?高調(diào)收集虹膜數(shù)據(jù)引來歐洲監(jiān)管調(diào)查
- 華為孟晚舟最新演講:長風(fēng)萬里鵬正舉,勇立潮頭智為先
- 華為全球智慧金融峰會2023在上海開幕 攜手共建數(shù)智金融未來
- 移動支付發(fā)展超預(yù)期:2022年交易額1.3萬億美元 注冊賬戶16億
- 定位“敏捷的財務(wù)收支管理平臺”,合思品牌升級發(fā)布會上釋放了哪些信號?
- 分貝通商旅+費控+支付一體化戰(zhàn)略發(fā)布,一個平臺管理企業(yè)所有費用支出
- IMF經(jīng)濟(jì)學(xué)家:加密資產(chǎn)背后的技術(shù)可以改善支付,增進(jìn)公益
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。