數據時代

在數據時代，數據和業務的保護、數據的管理成為企業發展所必需的基礎條件。據有效統計，當前，數據量增長、重要性呈指數級激增。據國外媒體報道，來自國際數據公司和數據存儲公司希捷的一份新報告顯示，隨著云計算、大數據、物聯網等技術產業的快速發展，數據流量增長速率正在不斷加快，到2025年，預計新增數據總量將從2018年的33ZB增加到175ZB。在過去幾年，全球的數據量以每年40%以上的速度增長，在未來這個速度會更快。龐大的數據量中非結構化數據占80%左右。通常我們認為大小在1MB以內的文件稱為小文件，百萬級數量及以上稱為海量小文件，由此量化定義海量小文件。

海量小文件的應用在生活中已越來越常見，社會化網絡、移動通信、網絡視頻音頻、電子商務、傳感器網絡、科學實驗等各種應用產生的數據，不僅存儲容量巨大，而且數據類型繁多、數據大小變化幅度大、流動快等顯著特點，往往能夠產生千萬級、億級甚至十億、百億級的海量小文件。

技術挑戰

數據即資產，龐大的數據資產對各企業的重要性不言而喻，需要對這些海量小文件提供保護方案來保證數據資產的安全性。但是傳統的文件備份是通過基于二叉樹遍歷的文件系統的遍歷后進行單通道的數據傳輸實現的。如果全部是幾K的文件，磁盤的遍歷時間遠遠大于實際的數據讀取時間。這給高效的實現海量小文件備份帶來了挑戰。

用戶故事

三甲醫院A每天有上萬的病人，每個病人每天產生的病例文件(包括病例、影像等文件)平均為1M，醫院平均每天的病人有1萬人，那一年的文件的大小是3.4TB、365萬數據左右。按醫院門診病例保存要求15年，那就有51TB、5475萬個數據。

該三甲醫院還要十幾個分院，而當前的數據中臺和大數據建設需要該醫院的總部將所有分院的數據進行匯聚和融合，初步評估數據中臺和大數據的底層數據是PB級別(1PB=1024TB)。

法院B有一個電子文件的項目，該法院有100TB左右的數據，想要建設該市所有法院的電子文件的統一管理平臺，粗略評估后總數據有3.6PB，并且有很多幾kb的小文件，如果按平均文件大小100KB來算，總共有396億左右的數據量。

我們再看一下網速，千兆網下網絡的峰值基本只有100+M/S，按照平均速度100M/s來進行數據傳輸，100TB的數據在千兆網下，需要12天才能傳完數據。

但是使用傳統的文件備份方式在文件數量達到千萬級時對業務系統的影響會很大，如果業務系統是運行很久的服務器，資源不充足的情況下甚至會導致業務系統卡頓;而文件大小低于100KB的海量小文件，在用傳統的文件備份方式進行備份時速度會迅速降低，之前測試1kb的千萬個小文件的備份速度只能以kb/s進行傳輸。

所以如何能夠面對海量小文件、海量小文件的時候能夠快速、低影響的進行備份就成了當前急需解決的技術問題。

浪擎解決方案

浪擎DAYS災備系統全面破解海量小文件備份難題，高效守護企業數據資產安全。

磁盤級備份

磁盤級備份是指采用磁盤塊的方式進行數據的備份，備份文件所在的磁盤或者分區，并且恢復的時候可以自定義所需的文件進行恢復。通過磁盤級備份能夠解決海量小文件備份過程中頻繁的IO訪問對業務系統帶來的影響，是海量備份方案中對業務系統影響最小的方案之一。并且由于采用磁盤級的備份，無論文件數量有千萬還是百億，大小是1M還是1KB，對整體的備份速度都沒有影響，即千兆網下，磁盤級備份速度可以一直保持峰值(平均100M/S)進行傳輸。

并行多通道備份

當文件數量達到千萬級別時，以傳統的單通道式文件備份的形式來進行海量小文件備份，備份速度會越來越慢。針對這種情況，浪擎自主研發了并行多通道的方式進行備份，通過初始化遍歷所有的文件，然后將文件平均分配給多個通道進行數據傳輸，數據傳輸完后進行數據落盤的操作來實現并行多通道備份。并且即使采用最普通的8核CPU服務器進行海量小文件備份也能同時用16個通道進行海量小文件的數據傳輸。10萬以上的文件采用并行多通道的方式進行備份，備份時間是單通道的一半，并且文件數量越多，備份效率越高。

分布式多通道備份

當文件數量達到千萬級別并且文件的大小差異很大，從幾KB到幾十MB都有，這種大小差異很大的海量小文件備份時的難度更大，即使采用并行多通道的方式也會由于文件數據大小差異過大，導致不同通道傳輸的數據總量不同，部分通道會有閑置的情況，最終導致數據傳輸時間相對較長。

針對這種情況，浪擎在并行多通道備份的基礎上做了深度的優化，提出分布式多通道備份方案，實現多通道備份的負載均衡，讓每個通道都能夠滿負荷進行數據傳輸，并行合并數據再結合實時的數據交互減少初始化的時間，達到整體的性能提高和最優化的海量小文件備份方案。

多節點、多任務、多網卡傳輸

除了采用多種備份方式進行海量小文件的備份外，為了充分利用現有資源和提供備份的速率，浪擎還采用了多節點、多任務、多網卡的方式進行數據傳輸。多節點是通過將多個服務節點進行數據存儲，減少單節點的性能的局限性對備份數據傳輸的影響;多任務是并行多個任務來實現數據傳輸，充分利用時間資源;多網卡是充分利用單節點上的多個網卡資源采用多個網卡進行數據傳輸，讓并行任務整體的備份效率提高。

關于浪擎

浪擎科技以“最大化數據價值”為使命，致力于數據安全與智能領域的產品研發和技術服務，從而推動數字化轉型發展的大變革。2011年投身災備產品研發，2015年進軍全國市場，浪擎科技現已在上海與成都建立了兩大研發中心，在北京、浙江、江蘇、江西、四川等20余省市部署了事業辦事處

數據安全產品線為重要業務和數據提供全生態、全棧式的備份保護，實現云上云下云間的數據安全與管理;數據智能產品線為用戶構建數據中臺提供全環境的、敏捷智能的數據匯聚融合與共享管理，助力數據驅動業務。

免責聲明：市場有風險，選擇需謹慎!此文僅供參考，不作買賣依據。

關鍵詞：