傳統(tǒng)的銀行、保險(xiǎn)行業(yè)的人工柜臺(tái)、信貸申請(qǐng)、承保和理賠等業(yè)務(wù)除了在數(shù)據(jù)庫(kù)中記錄交易信息，往往也會(huì)產(chǎn)生大量的非結(jié)構(gòu)化數(shù)據(jù)：身份證照片、紙質(zhì)文件掃描件、取證文件掃描件、現(xiàn)場(chǎng)照片等，依據(jù)金融行業(yè)相關(guān)法規(guī)要求，這些文件需長(zhǎng)期保存，以便于后督審計(jì)和避免可能存在的法律風(fēng)險(xiǎn)。

　　隨著互聯(lián)網(wǎng)金融的迅猛發(fā)展，金融行業(yè)的競(jìng)爭(zhēng)日趨白熱化，越來(lái)越多的金融公司希望金融科技能夠幫助企業(yè)降低攬客成本和客戶服務(wù)成本，提升辦公效率和風(fēng)險(xiǎn)評(píng)估效率。為此，各大金融機(jī)構(gòu)競(jìng)相實(shí)施金融科技項(xiàng)目，如：智能化柜臺(tái)，降低營(yíng)業(yè)網(wǎng)點(diǎn)業(yè)務(wù)開(kāi)通成本;無(wú)紙化柜臺(tái)，提升柜臺(tái)工作和服務(wù)效率;理賠智能手機(jī)客戶端，提升用戶理賠效率;智能化信貸審核，提升風(fēng)險(xiǎn)評(píng)估效率，降低人力投入成本;基礎(chǔ)架構(gòu)云化、容器化，提升基礎(chǔ)資源的利用和管理效率等。

　　這些新型金融科技的背后，顯而易見(jiàn)地會(huì)產(chǎn)生海量的圖片、文檔、音頻和視頻等非結(jié)構(gòu)化數(shù)據(jù)，其文件個(gè)數(shù)和數(shù)據(jù)量都呈現(xiàn)爆發(fā)性增長(zhǎng)，對(duì)原有的存儲(chǔ)系統(tǒng)架構(gòu)帶來(lái)了更多的新挑戰(zhàn)。

　　海量非結(jié)構(gòu)化數(shù)據(jù)帶來(lái)的挑戰(zhàn)

　　對(duì)業(yè)務(wù)部門(mén)來(lái)說(shuō)，海量小文件的訪問(wèn)性能至關(guān)重要，直接關(guān)系到終端用戶的體驗(yàn)，而一個(gè)股份制銀行省分行的柜臺(tái)系統(tǒng)、信貸系統(tǒng)每年會(huì)新增上億個(gè)文件，大量小文件對(duì)文件存儲(chǔ)是一大挑戰(zhàn)，而很多銀行已經(jīng)在考慮如何實(shí)現(xiàn)文件大集中。

　　而隨著VTM(遠(yuǎn)程虛擬銀行服務(wù)系統(tǒng))、雙錄系統(tǒng)的上線，存儲(chǔ)容量需求高速增長(zhǎng)，如保險(xiǎn)公司銀保的雙錄數(shù)據(jù)半年即可增加數(shù)百TB數(shù)據(jù)，存儲(chǔ)是否能夠提供高吞吐能力，來(lái)保障音視頻文件的讀寫(xiě)性能是重要的關(guān)注點(diǎn)。

　　大多數(shù)金融機(jī)構(gòu)已經(jīng)采用分布式數(shù)據(jù)庫(kù)、大數(shù)據(jù)技術(shù)，來(lái)實(shí)現(xiàn)歷史數(shù)據(jù)的在線統(tǒng)一存儲(chǔ)和查詢，而非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)規(guī)?？赡軙?huì)達(dá)到PB級(jí)甚至EB級(jí)，在這種情況下如何實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和管理、歷史數(shù)據(jù)的實(shí)時(shí)查詢、未來(lái)的大數(shù)據(jù)分析，對(duì)存儲(chǔ)高度智能化的管理能力提出了更高的要求。

　　當(dāng)前IaaS層云化是大趨勢(shì)，私有云實(shí)現(xiàn)了計(jì)算和存儲(chǔ)資源的云化，分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)了結(jié)構(gòu)化數(shù)據(jù)的云化，云化后的資源可按需分配、彈性擴(kuò)展。而非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的云化卻缺乏很好的解決方案，尤其是隨著音視頻數(shù)據(jù)的加入，占用的存儲(chǔ)空間越來(lái)越大，而這些數(shù)據(jù)的單位價(jià)值不高，如何降低單位存儲(chǔ)成本也需重點(diǎn)考量。

　　為了解決銀行、保險(xiǎn)關(guān)鍵系統(tǒng)(如：柜臺(tái)、信貸、承保、理賠等)的海量票據(jù)、證件、合同等文件數(shù)量龐大且不斷累積導(dǎo)致的存儲(chǔ)性能和擴(kuò)展性瓶頸問(wèn)題，金融行業(yè)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的技術(shù)發(fā)展經(jīng)歷了四個(gè)階段：

　　NAS存儲(chǔ)階段

　　在金融行業(yè)早期文件數(shù)量不多、存儲(chǔ)容量不大的階段， 金融客戶普遍采用NAS外置存儲(chǔ)設(shè)備來(lái)放置影像資料，但隨著文件的海量增長(zhǎng)，單臺(tái)NAS可管理的文件數(shù)量和容量都出現(xiàn)了瓶頸。在實(shí)際項(xiàng)目中我們看到，用戶的文件數(shù)量達(dá)到數(shù)千萬(wàn)時(shí)，訪問(wèn)時(shí)延可能達(dá)到秒級(jí)，這將直接影響到對(duì)最終用戶的金融服務(wù)體驗(yàn)。而增加多臺(tái)NAS外置存儲(chǔ)設(shè)備，又會(huì)導(dǎo)致存儲(chǔ)管理復(fù)雜性更高，同一應(yīng)用系統(tǒng)數(shù)據(jù)存放在不同設(shè)備上導(dǎo)致數(shù)據(jù)割裂。在中大型企業(yè)，IT人員將花費(fèi)大量時(shí)間完成IT運(yùn)維變更審批流程，同時(shí)還要時(shí)刻提防這種頻繁變更可能導(dǎo)致的IT運(yùn)維風(fēng)險(xiǎn)，無(wú)法真正聚焦在為業(yè)務(wù)創(chuàng)造價(jià)值上。

　　ECM階段

　　隨著文件數(shù)量的增加，金融機(jī)構(gòu)開(kāi)始引入ECM(企業(yè)內(nèi)容管理系統(tǒng))，ECM統(tǒng)一管理多個(gè)NAS外置存儲(chǔ)設(shè)備，并可動(dòng)態(tài)增加NAS，對(duì)外提供統(tǒng)一的名字空間，文件管理規(guī)模相對(duì)于單臺(tái)NAS存儲(chǔ)大大增加。同時(shí)，ECM系統(tǒng)還支持文件的屬性存放和屬性檢索，可以實(shí)現(xiàn)跨業(yè)務(wù)系統(tǒng)的文件檢索，滿足文件管理的需要。

　　但由于ECM接口為非標(biāo)準(zhǔn)協(xié)議，需要專(zhuān)門(mén)進(jìn)行應(yīng)用開(kāi)發(fā)，應(yīng)用改造成本高，目前主要應(yīng)用在金融的柜臺(tái)、信貸和后督的影像系統(tǒng)。更重要的是，ECM的投資成本較高，百TB數(shù)據(jù)的存儲(chǔ)成本高達(dá)數(shù)百萬(wàn)，不適合存儲(chǔ)音視頻等價(jià)值密度較低的數(shù)據(jù)，維護(hù)的成本也非常高。

　　分布式數(shù)據(jù)庫(kù)階段

　　隨著大數(shù)據(jù)技術(shù)、MPP分布式數(shù)據(jù)庫(kù)在金融行業(yè)的興起，金融行業(yè)嘗試?yán)眠@些技術(shù)解決非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)問(wèn)題，對(duì)于海量小文件性能和擴(kuò)展性確實(shí)有較大突破，且分布式數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)文件元數(shù)據(jù)的統(tǒng)一存儲(chǔ)和檢索，滿足對(duì)內(nèi)容管理的需求。

　　但分布式數(shù)據(jù)庫(kù)是結(jié)構(gòu)化存儲(chǔ)架構(gòu)，替換文件存儲(chǔ)存在很多局限性。首先，由于MPP分布式數(shù)據(jù)庫(kù)的架構(gòu)限制，很難實(shí)現(xiàn)傳統(tǒng)存儲(chǔ)的部分高級(jí)功能，如：糾刪碼功能(類(lèi)似分布式RAID)、文件去重等，導(dǎo)致存儲(chǔ)成本過(guò)高，不適用于音視頻等低價(jià)值密度數(shù)據(jù)的存儲(chǔ)。其次，受限于SQL接口，無(wú)法實(shí)現(xiàn)目錄和子目錄的權(quán)限管理、配額管理、目錄快照回滾等傳統(tǒng)NAS存儲(chǔ)的基本功能，導(dǎo)致數(shù)據(jù)缺乏安全性機(jī)制及數(shù)據(jù)可靠性保障機(jī)制。此外，SQL、NoSQL作為文件存儲(chǔ)，標(biāo)準(zhǔn)性差、接口使用復(fù)雜，不便于企業(yè)用戶使用。該技術(shù)方案在部分金融機(jī)構(gòu)嘗試后，未能成為主流形態(tài)大范圍推廣應(yīng)用。

　　對(duì)象存儲(chǔ)階段

　　反觀互聯(lián)網(wǎng)行業(yè)，近幾年隨著移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)的蓬勃發(fā)展，微信、直播、短視頻等新型應(yīng)用帶來(lái)的非結(jié)構(gòu)化數(shù)據(jù)量已遠(yuǎn)遠(yuǎn)超過(guò)金融行業(yè)。由于數(shù)據(jù)量大、文件數(shù)多，因此需要尋找性價(jià)比高的存儲(chǔ)方案，互聯(lián)網(wǎng)在十年前就已經(jīng)開(kāi)始采用基于x86服務(wù)器的分布式架構(gòu)來(lái)解決海量數(shù)據(jù)存儲(chǔ)問(wèn)題，出現(xiàn)過(guò)的技術(shù)包括谷歌的GoogleFS、亞馬遜的S3、阿里的FastDFS等基于HTTP訪問(wèn)協(xié)議的文件存儲(chǔ)方案，由于亞馬遜的公有云影響力，AWS S3對(duì)象存儲(chǔ)逐步成為互聯(lián)網(wǎng)行業(yè)的事實(shí)標(biāo)準(zhǔn)，目前阿里、騰訊、華為的公有云都采用兼容S3協(xié)議的對(duì)象存儲(chǔ)技術(shù)。

　　對(duì)象存儲(chǔ)的技術(shù)特點(diǎn)是基于x86服務(wù)器+分布式存儲(chǔ)軟件技術(shù)構(gòu)建統(tǒng)一存儲(chǔ)池，利用服務(wù)器本地磁盤(pán)實(shí)現(xiàn)PB級(jí)甚至EB級(jí)的大規(guī)模存儲(chǔ)集群，可擴(kuò)展性強(qiáng)。軟硬件解耦，可實(shí)現(xiàn)硬件的動(dòng)態(tài)淘汰和更新，無(wú)需像NAS進(jìn)行設(shè)備更新時(shí)要完成數(shù)據(jù)遷移。采用簡(jiǎn)化的文件操作接口，單一名字空間可管理的文件數(shù)量相比NAS大數(shù)百倍?；贖TTP協(xié)議的SDK訪問(wèn)，無(wú)需掛載操作系統(tǒng)，應(yīng)用可直接訪問(wèn)，適合應(yīng)用云化和容器化場(chǎng)景及手機(jī)APP程序訪問(wèn)場(chǎng)景。協(xié)議標(biāo)準(zhǔn)化，符合基礎(chǔ)架構(gòu)標(biāo)準(zhǔn)化需求且與公有云兼容，便于應(yīng)用系統(tǒng)在公有云和私有云間無(wú)縫遷移。

　　除了具備對(duì)象存儲(chǔ)的基本特點(diǎn)，杉巖分布式對(duì)象存儲(chǔ)軟件聚焦金融行業(yè)，幫助金融客戶構(gòu)建本地私有云存儲(chǔ)資源池。同時(shí)，將互聯(lián)網(wǎng)對(duì)象存儲(chǔ)技術(shù)進(jìn)行深度產(chǎn)品化，并推出了更多的特性：

　　兼容FTP/文件接口，支持金融行業(yè)傳統(tǒng)應(yīng)用實(shí)現(xiàn)向?qū)ο蟠鎯?chǔ)的平滑遷移;

　　支持文件元數(shù)據(jù)和元數(shù)據(jù)檢索，代替ECM功能，滿足企業(yè)內(nèi)容管理需求;

　　支持目錄快照和快照策略、文件多版本和快速回滾，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)免備份，解決磁帶庫(kù)備份帶寬不足和調(diào)取慢的問(wèn)題;

　　支持多數(shù)據(jù)中心容災(zāi)及數(shù)據(jù)中心AA模式，實(shí)現(xiàn)業(yè)務(wù)的就近讀寫(xiě)訪問(wèn);

　　一套環(huán)境同時(shí)支持副本和糾刪碼(類(lèi)似分布式RAID)，兼顧金融核心業(yè)務(wù)系統(tǒng)的性能和音視頻存儲(chǔ)成本型應(yīng)用需求;

　　支持?jǐn)?shù)據(jù)冷熱自動(dòng)分層，滿足業(yè)務(wù)性能的同時(shí)，降低歷史冷數(shù)據(jù)的存儲(chǔ)成本。

　　綜上所述，隨著金融科技的不斷引入，非結(jié)構(gòu)化數(shù)據(jù)類(lèi)型更多、數(shù)據(jù)量增長(zhǎng)更快，存儲(chǔ)需要對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一管理和利用，金融行業(yè)的IT管理者需要根據(jù)信息化需求選擇更為合適和具有前瞻性的存儲(chǔ)方案。未來(lái)，能夠結(jié)合大數(shù)據(jù)分析、人工智能技術(shù)，實(shí)現(xiàn)對(duì)金融海量非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值挖掘，推動(dòng)金融行業(yè)蓬勃發(fā)展。

　　【關(guān)于杉巖數(shù)據(jù)】

　　企業(yè)級(jí)軟件定義存儲(chǔ)(SDS)方案和服務(wù)提供商，“+存儲(chǔ)”理念的倡導(dǎo)者和踐行者，由來(lái)自世界500強(qiáng)企業(yè)的專(zhuān)業(yè)存儲(chǔ)團(tuán)隊(duì)為技術(shù)班底組成。幫助企業(yè)級(jí)用戶輕松應(yīng)對(duì)IT向云遷移的存儲(chǔ)挑戰(zhàn)，為大數(shù)據(jù)時(shí)代的商業(yè)決策提供智能存儲(chǔ)。

　　杉巖官網(wǎng)：www.szsandstone.com

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。