對于運營商(shāng)而言，數據分(fēn)析是一(yī)項常年的重要工(gōng)作，經營分(fēn)析系統的曆史數據規模經常會達到PB級，如曆史通話(huà)詳情、寬帶辦理、話(huà)費(fèi)充值信息等，在進行話(huà)費(fèi)清單查詢等業務時，大(dà)量數據需要進行熱數據分(fēn)析和關聯查詢。5G時代的到來，讓本就龐大(dà)的數據規模迎來進一(yī)步暴增，如何高效存儲和管理這些海量數據是運營商(shāng)持續面臨的問題。
作爲一(yī)家專注大(dà)數據、雲計算等領域核心技術的高科技軟件企業，北(běi)京東方國信科技股份有限公司（簡稱“東方國信”）一(yī)直爲運營商(shāng)提供大(dà)數據分(fēn)析解決方案，爲了存儲這些海量數據，東方國信BEH大(dà)數據企業版主要采用傳統存算融合架構進行數據分(fēn)析和存儲，但是存算融合架構仍然面臨的諸多的挑戰，例如——
文件規模：使用單個NameNode性能受限于單節點性能瓶頸，通常更大(dà)文件規模量級隻能支持到億級别。
存儲成本：BEH與HDFS相同，存儲機制采用三副本存儲，空間利用率低，有效存儲可用空間利用率33%，随着數據量的持續增長，存儲成本居高不下(xià)。
擴展難題：因計算和存儲融合，單台服務器的存儲空間有限，針對單台進行容量擴展導緻計算資(zī)源“空旋”浪費(fèi)。
深信服EDS存算分(fēn)離(lí)解決方案，讓海量數據存儲不再成爲困擾
爲了解決傳統存算融合架構長久以來存在的弊端，東方國信BEH和深信服分(fēn)布式存儲EDS研發人員(yuán)經過近半年的不斷投入和測試，終于探索出了一(yī)條新的大(dà)數據存儲管理方案——EDS大(dà)數據存算分(fēn)離(lí)解決方案，構建新一(yī)代運營商(shāng)經分(fēn)系統大(dà)數據存儲建設之道。
在近半年的測試中(zhōng)，雙方基于運營商(shāng)大(dà)數據實際業務場景與傳統存算一(yī)體(tǐ)融合方案，進行了全面細緻，多場景，多維度的嚴格對比測試。測試結果表明在大(dà)數據存算分(fēn)離(lí)場景下(xià)，東方國信BEH大(dà)數據企業版與深信服EDS企業級分(fēn)布式存儲能夠實現相互兼容，且在高壓力環境下(xià)針對TestDFSIO大(dà)文件讀寫、TeraSort數據排序、倉儲場景下(xià)冷熱數據關聯查詢、存量數據遷移，Hbase随機讀寫等對比測試中(zhōng)，EDS存算分(fēn)離(lí)方案各項性能表現優異。
在文件規模、存儲成本以及擴展性方面，EDS存算分(fēn)離(lí)方案實現了全面升級。
1.突破性能瓶頸
EDS存算分(fēn)離(lí)方案采用全分(fēn)布式Namenode，相比于單個Namenode存儲架構，不再受限于性能瓶頸，單一(yī)命名空間文件數量支持可達百億級别。
2.降低存儲成本
通過糾删碼技術提供高存儲利用率來進行曆史數據保存，相比BEH存儲可用空間提高2倍以上，在不影響在線熱數據的性能的前提下(xià)，幫助用戶節省針對曆史數據的開(kāi)支和成本。
3.解決擴展難題
EDS 分(fēn)布式存儲HDFS提供統一(yī)命名空間，分(fēn)布式命名空間架構無規模瓶頸，可以持續擴展集群以存儲曆史數據，提高大(dà)數據集群靈活性并消除瓶頸規模，也避免了計算節點的資(zī)源浪費(fèi)。
本次測試的各項優異表現，使雙方增加了重構運營商(shāng)傳統大(dà)數據經分(fēn)系統數據存儲管理架構的信心，未來雙方将共同爲運營商(shāng)等企業級用戶提供存儲效率更高、性價比更優、管理更智能的大(dà)數據存算分(fēn)離(lí)解決方案。
客服1 
客服2