星環(huán)科技StellarDB4.0:萬億級圖數(shù)據(jù)庫挖掘海量數(shù)據(jù)互聯(lián)價值

  TranswarpStellarDB是星環(huán)科技自主研發(fā)的分布式圖數(shù)據(jù)庫,兼容openCypher查詢語言,提供海量圖數(shù)據(jù)的存儲和分析能力,支持原生圖存儲結構,支持萬億邊PB級數(shù)據(jù)存儲。同時,StellarDB具備毫秒級點邊查詢能力,10+層的深度鏈路分析能力,提供近30種的圖分析算法,具備數(shù)據(jù)2D和3D展示能力。星環(huán)科技StellarDB在金融、政府和社交網(wǎng)絡等領域應用,并且在某地電信關系圖譜場景實現(xiàn)了9700億邊規(guī)模的存儲和穩(wěn)定運行,真正意義上將萬億級圖數(shù)據(jù)庫能力應用落地。

  近日,星環(huán)科技分布式圖數(shù)據(jù)庫正式發(fā)布StellarDB 4.0,在數(shù)據(jù)導入、多跳查詢和圖算法性能方面實現(xiàn)了數(shù)倍升級,同時在易用性、安全性、運維管理、和開放性等方面全面升級,幫助企業(yè)用戶更快、更高效地挖掘海量數(shù)據(jù)互聯(lián)價值。

  全新的分布式架構,數(shù)據(jù)加載、查詢和算法性能數(shù)倍提升

  隨著互聯(lián)網(wǎng)時代的快速發(fā)展,企業(yè)數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長,數(shù)據(jù)之間的關聯(lián)愈發(fā)復雜,這些給圖數(shù)據(jù)庫的性能帶來很大的挑戰(zhàn),數(shù)據(jù)存儲、查詢和計算能力成為衡量數(shù)據(jù)庫性能的關鍵能力。StellarDB 4.0對分布式存儲和計算架構進行升級,數(shù)據(jù)加載、查詢和算法性能提升數(shù)倍,達到行業(yè)領先水平。

  在相同的測試環(huán)境中,在十億級邊規(guī)模數(shù)據(jù)集Twitter-2010下,StellarDB數(shù)據(jù)加載速度是開源圖數(shù)據(jù)庫Neo4j的2倍。

  StellarDB4.0在多跳查詢方面具有優(yōu)異的性能表現(xiàn),當路徑長度設為6跳時,StellarDB查詢響應速度是Tigergraph的2-4倍,在Twitter-2010數(shù)據(jù)集上,其余兩款圖數(shù)據(jù)庫產(chǎn)品在半小時內(nèi)未返回結果。

  在圖算法性能方面,StellarDB4.0具有很大性能提升,在常用的四種圖算法PageRank、弱連通子圖、強連通子圖和LPA算法方面,StellarDB具有顯著的性能優(yōu)勢。

  在PageRank方面,StellarDB性能是TigerGraph的2-3倍,是Neo4j的3-6倍,可以幫助用戶更加快速高效的實現(xiàn)計算網(wǎng)絡中點的相關性。例如在網(wǎng)頁排名場景中,StellarDB可以幫助用戶更加快速高效的實現(xiàn)網(wǎng)頁排名。

  在強連通子圖方面,StellarDB性能是TigerGraph的6-7倍,是Neo4j的3-6倍,可以幫助用戶更加快速高效的遍歷有向圖中每個點和每條邊。例如在社交網(wǎng)絡中的社區(qū)發(fā)現(xiàn),洗錢環(huán)節(jié)的賬戶閉環(huán)查詢跟蹤等場景,StellarDB通過全局遍歷,快速發(fā)展某社區(qū)人員或有洗錢嫌疑賬戶的關聯(lián)關系分析。

  在LPA方面,StellarDB表現(xiàn)出更加優(yōu)異的性能,在千萬級邊Graph500數(shù)據(jù)集下,接近TigerGraph的4倍,是Neo4j的8倍以上,而在十億級邊Twitter-2010數(shù)據(jù)集下,只有StellarDB在秒級響應,其余圖數(shù)據(jù)庫產(chǎn)品在30min內(nèi)均無響應結果。該算法可以幫助用戶實現(xiàn)從已標記的節(jié)點標簽信息來預測未標記的節(jié)點標簽信息。

  StellarDB優(yōu)異的性能將滿足用戶PB級數(shù)據(jù)量存儲,K跳鄰居查詢和算法快速響應需求,帶給用戶極致的使用體驗,幫助用戶更快、更高效地挖掘數(shù)據(jù)價值。

  更多算法、更多數(shù)據(jù)類型,易用性多重提升

  易用性是企業(yè)圖數(shù)據(jù)庫選型的重要指標,關系到用戶用圖數(shù)據(jù)庫解決業(yè)務問題的效率和成本。星環(huán)科技StellarDB支持openCypher查詢語言,簡潔易懂,即可實現(xiàn)復雜場景的查詢?nèi)蝿?,并且在openCypher基礎上進行了擴展,引入數(shù)據(jù)導入,圖算法,建模等語法,以更好地提高用戶使用效率。

  StellarDB4.0支持更多的數(shù)據(jù)類型,支持Array、Decimal高精度數(shù)據(jù)類型。同時支持類SQL語言定義圖schema,讓圖建模和圖導入更加便捷。在圖算法方面,StellarDB4.0實現(xiàn)更多的算法支持涵蓋中心調度類、社區(qū)發(fā)現(xiàn)類、相似度類等近30種常見的圖算法以滿足不同的業(yè)務場景需求。

  此外,StellarDB支持2D和3D的圖可視化展示,利用可視化技術幫助用戶快速獲取數(shù)據(jù)基于關聯(lián)性的深度洞察,并且提供可視化的數(shù)據(jù)導入、集群監(jiān)控、圖查詢?nèi)蝿蘸蛨D計算任務監(jiān)控等功能。

  數(shù)據(jù)加密和脫敏支持,保障數(shù)據(jù)安全

  隨著《網(wǎng)絡安全法》《數(shù)據(jù)安全法》《個人信息保護法》相繼公布并實施,數(shù)據(jù)安全成為企業(yè)越來越關注的問題。星環(huán)科技StellarDB支持面向圖的權限管理以及支持管理平臺角色認證,以保證圖數(shù)據(jù)的安全。StellarDB4.0面向圖的權限管理進一步精細化,不僅支持圖(Graph)級別的權限設置(增、刪、改、查及圖管理),還支持標簽(Label)和屬性(Property)級別的權限設置,以實現(xiàn)更加精細化的權限控制。同時,在數(shù)據(jù)加密方面,StellarDB4.0支持數(shù)據(jù)靜態(tài)加密,其支持SM4分組加密算法,具有加密效率高,加密速度快等特性,讓數(shù)據(jù)管理更安全。

  StellarDB4.0新增數(shù)據(jù)脫敏能力對某些敏感信息進行數(shù)據(jù)的脫敏處理,防止隱私數(shù)據(jù)在未經(jīng)脫敏的情況下從企業(yè)流出,滿足一定場景下的監(jiān)管合規(guī)要求。豐富的內(nèi)置脫敏算法可以有效的降低脫敏的復雜度和風險,實現(xiàn)敏感隱私數(shù)據(jù)的可靠保護。

  StellarDB4.0可視化頁面支持HTTPS安全傳輸,保障頁面?zhèn)鬏敂?shù)據(jù)的安全。此外,還支持安全認證,支持對接已有身份認證系統(tǒng),可以實現(xiàn)用戶及權限的遷移。

  企業(yè)級數(shù)據(jù)庫功能,提高運維管理效率

  數(shù)據(jù)庫系統(tǒng)作為IT業(yè)務系統(tǒng)的核心,對整個業(yè)務系統(tǒng)的連續(xù)性和數(shù)據(jù)完整性起著至關重要的作用。StellarDB支持權限認證、備份恢復、集群監(jiān)控、日志審計、資源管控等企業(yè)級數(shù)據(jù)庫功能。例如,StellarDB提供系統(tǒng)級別的高可用性,元信息服務采用多節(jié)點HA方式提供高可用服務。StellarDB數(shù)據(jù)服務使用Raft協(xié)議,可以提供秒級副本切換服務。

  StellarDB 4.0在原有支持數(shù)據(jù)全量備份恢復的基礎上,新增增量數(shù)據(jù)的備份和恢復,幫助企業(yè)提高數(shù)據(jù)備份效率,滿足企業(yè)提供不同場景的備份需求。同時StellarDB 4.0新增副本遷移功能,在磁盤異構等問題導致部分節(jié)點數(shù)據(jù)磁盤負載不均衡的情況下,實現(xiàn)分區(qū)副本的跨節(jié)點遷移,以保證系統(tǒng)穩(wěn)定性。

  此外,為了提高副本故障問題解決效率,StellarDB 4.0新增故障副本修復功能,通過簡單的openCypher語句即可刪除受損分區(qū)副本并重建分區(qū)的新副本,使所有分區(qū)恢復到健康狀態(tài),保證系統(tǒng)可靠性。

  更強大的兼容能力,支撐更多實際業(yè)務場景

  圖數(shù)據(jù)庫的兼容性是企業(yè)實際系統(tǒng)建設中必須考慮的重要因素。星環(huán)科技StellarDB兼容星環(huán)大數(shù)據(jù)一體機Txdata、申威等國產(chǎn)服務器,并可運行于TCOS星環(huán)云操作系統(tǒng)、中標麒麟、銀河麒麟等國產(chǎn)操作系統(tǒng)環(huán)境中。

  同時,星環(huán)科技StellarDB提供豐富的接口,支持Python SDK、JDBC SDK與RESTful API與第三方系統(tǒng)進行對接,openCypher可以幫助用戶完成大部分的圖查詢操作和基本圖算法。

  在數(shù)據(jù)接入方面,StellarDB支持事務型數(shù)據(jù)庫、與HDFS、Hive等大數(shù)據(jù)平臺導入數(shù)據(jù),并且支持Text、ORC、CSV、Parquet等文件格式。在4.0版本中StellarDB新增通過Kafka、Flink、Spark Streaming等方式接入流式數(shù)據(jù)源,從而增強圖的實時更新和實時查詢能力,結合全量和增量數(shù)據(jù)導入能力,滿足更多復雜的業(yè)務場景。

  目前,星環(huán)科技分布式圖數(shù)據(jù)庫Transwarp StellarDB在人員社交網(wǎng)絡探索、金融風險傳播分析等場景發(fā)揮著重大的作用,廣泛應用于金融、政府和社交網(wǎng)絡等領域。未來,星環(huán)科技將繼續(xù)在圖技術領域深耕,為企業(yè)提供查詢速度更快、分析能力更強、穩(wěn)定性更高的圖數(shù)據(jù)庫產(chǎn)品。同時,作為國內(nèi)領先的企業(yè)級大數(shù)據(jù)基礎軟件公司,星環(huán)科技是國內(nèi)同時具備圖數(shù)據(jù)庫、知識圖譜平臺、圖挖掘應用開發(fā)能力的企業(yè),其全棧自研的圖技術能力可以助力企業(yè)快速挖掘圖數(shù)據(jù)價值,推動業(yè)務高效高質量發(fā)展。

  典型案例

  國內(nèi)某Top證券公司使用開源圖數(shù)據(jù)庫Neo4j構建了企業(yè)圖譜平臺,但隨著數(shù)據(jù)量的不斷增加以及管理要求的不斷提高,原先批數(shù)據(jù)處理依賴手工導入的方式操作繁瑣,給企業(yè)帶來很大的管理和成本壓力。該過程還需要中斷數(shù)據(jù)庫服務,影響數(shù)據(jù)庫業(yè)務的正常運行。此外,原系統(tǒng)的數(shù)據(jù)更新速度,深度關系查詢性能以及維護管理等方面也無法滿足該證券公司要求。

  星環(huán)科技StellarDB與Neo4j的Cypher語法高度兼容,快速實現(xiàn)了多個業(yè)務的平滑遷移和上線。內(nèi)置的ETL工具直接從事務數(shù)據(jù)庫中抽取數(shù)據(jù),避免數(shù)據(jù)手工導入導出的麻煩,相應的ETL組件實現(xiàn)對加工任務的協(xié)調調度,整個過程不中斷服務,有效保障業(yè)務連續(xù)性。

  同時,StellarDB支持標簽級數(shù)據(jù)秒級刪除,極大提升企業(yè)每天數(shù)據(jù)更新效率。StellarDB可視化數(shù)據(jù)建模功能幫助數(shù)據(jù)分析師快速、便捷地進行企業(yè)關聯(lián)關系、股權滲透分析,在3億數(shù)據(jù)量下的12度以內(nèi)的最上層實控公司和母公司的控股企業(yè)查詢時間縮短為原先的1/3。

  與原先用戶管理維護依賴手工的方式相比,星環(huán)科技StellarDB數(shù)據(jù)庫管理支持多種認證方式,數(shù)據(jù)庫層支持Kerberos和LDAP,web層支持CAS和OAuth2, 快速實現(xiàn)了與集團系統(tǒng)的統(tǒng)一對接認證,企業(yè)可以根據(jù)用戶部門工號統(tǒng)一配置權限和認證。目前該證券公司已和星環(huán)科技合作完成對公企業(yè)圖譜平臺建設,后續(xù)將進一步拓展反洗錢圖譜,反欺詐圖譜等多圖應用。

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )