隨著新技術、新應用不斷出現，數字化轉型也在不斷加速，行業(yè)智慧應用爆發(fā)式增長，不僅改變了人們的工作、生活、學習方式，使得社會進入了數字經濟時代，人們進入便捷、高效的智慧時代，據IDC預測 2025 年，每天有超過 60 億人與數據發(fā)生互動，相當于全球人口的 75%;每個聯(lián)網的人每隔18 秒就會有至少 1 次數據交互，全球數據也將增至 175ZB。而這些數據被記錄在不同存儲系統(tǒng)與介質中，企業(yè)組織不斷購置大量的存儲設備來應對快速增長的數據存儲需求，這也增加了系統(tǒng)支出和資源能耗。浪潮存儲基于技術創(chuàng)新提出了智能在線壓縮技術(InCompression)，通過結合硬件及算法進行數據量縮減，以提升存儲空間利用率，達到降低成本的目的。

全閃存儲高速發(fā)展背后

面臨如何提升SSD壽命的挑戰(zhàn)

在數據管理的過程中，最終都需要將數據存放到某一類最底層物理存儲介質中。目前，底層物理存儲介質主要有光、磁、電三種，對應的存儲產品類型也可被分為三大類：光學存儲，如藍光存儲;磁存儲，如HDD機械硬盤;半導體存儲，采用電能存儲，如SSD固態(tài)硬盤。

除了目前主要使用光、磁、電三種介質之外，業(yè)界還在進行DNA存儲等下一代介質研發(fā)。當前在企業(yè)級存儲市場應用最廣泛的是HDD機械盤跟SSD固態(tài)盤，其中SSD節(jié)能優(yōu)勢明顯，相對于HDD，在相同容量下，SSD的電力能耗降低70%，可有效推進數據中心低碳運轉，其性能在市場中也具有較強的競爭力。

另外，“硅進磁退” 是存儲介質發(fā)展的趨勢，全閃存陣列的普及速度也在逐年提高。SSD固態(tài)硬盤的性能雖高，但是其中的flash顆粒存在成本和磨損壽命的限制。因此在全閃存系統(tǒng)進行設計時，需要充分考慮減少flash的磨損。業(yè)界中也通過壓縮技術減少寫入的數據量，進而有效減少對flash的磨損，提高系統(tǒng)的利用率，延長SSD的使用壽命，從而降低數據存儲的成本。

存儲系統(tǒng)中的在線壓縮技術

存儲系統(tǒng)中的無損數據壓縮算法，正在由效率較低的定長(Fixed Bit Length Packing)壓縮轉變?yōu)椴欢ㄩL壓縮。其中，由Abraham Lempel 和 Jacob Ziv獨創(chuàng)性的使用字典的LZ77/78算法及其變種應用最為廣泛。這類使用字典來壓縮數據LZ算法使用一種基于滑動窗口緩存的技術，該緩存用于保存最近剛剛處理的文本;當出現一個重復時，重復的序列可以用一個短的編碼來代替;壓縮程序掃描這樣的重復，同時生成編碼來代替重復序列，隨著時間的過去，編碼可以重用來捕獲新的序列。當然系統(tǒng)必須要設計成解壓程序能夠在編碼和原始數據序列推導出當前的映射。

△LZ算法示意圖

LZ算法使用了有限的窗口在以前的文本中查找匹配，對于相對于窗口大小來說非常長的文本塊，很多可能的匹配就會被丟掉。窗口大小可以增加，但這會帶來兩個損失：一是算法的處理時間會增加;二是指針字段必須更長，以允許更長的跳轉。兩者都很消耗計算資源(CPU和緩存)。

傳統(tǒng)在線實時壓縮技術一般采用軟件壓縮來實現，會帶來一定的CPU負載，如果壓縮算法做的不夠優(yōu)化，就會導致壓縮功能開啟后占用較多CPU性能(雙倍壓縮，占用15%左右CPU資源)，一般會影響系統(tǒng)1/3-2/3的性能，影響業(yè)務的可用性能。因此，某些存儲系統(tǒng)中并不建議企業(yè)在業(yè)務繁忙時開啟壓縮功能，一般在業(yè)務空閑階段使用壓縮。

數據壓縮的另外一個痛點在于，數據塊經過壓縮后，因為有不同的冗余度，數據塊長度變得不一，容易造成磁盤碎片。這種基于位置的壓縮給系統(tǒng)的數據布局帶來很大影響，嚴重影響業(yè)務的IO響應能力，加劇性能衰減。

基于定長輸出的智能在線壓縮

保障業(yè)務的性能不受影響

浪潮智能在線壓縮基于硬件壓縮技術，降低了對控制器計算資源的占用，特別是CPU和緩存，使得壓縮功能的開啟，只占用了低于3%的CPU性能影響(部分IO交互);與此同時，通過特定優(yōu)化的壓縮算法，將在線壓縮的不定長數據轉變?yōu)槎ㄩL數據，壓縮數據8byte對齊。

定長輸出壓縮模式是一種前壓縮方式，數據會先經過緩存壓縮(專用緩存和壓縮芯片)，最終落盤的是壓縮后的數據;且算法依據非定長輸入會生成定長輸出，更容易滿條帶刷寫，提高性能同時提高磁盤空間利用率。

浪潮存儲基于時序的優(yōu)化策略可以識別隨機熱點數據，依賴局部性原理進行數據存儲，進一步提高隨機場景的壓縮性能。在數據布局上，不再產生數據碎片，從總體測試表現看，經過開啟壓縮功能，反而提升系統(tǒng)的隨機讀寫性能。數據庫類應用壓縮比例21,日志型應用最大壓縮比例可達10:1，節(jié)省了大量的存儲空間。

浪潮存儲基于“云存智用 運籌新數據”的理念，不斷技術創(chuàng)新，將智能壓縮技術適配到存儲平臺，打造敏捷高效的存儲產品，在保障性能無損的情況下，提升數據存儲的效率，提高了存儲空間利用率，降低數據存儲成本，讓用戶能輕松應對數字經濟時代的海量數據的挑戰(zhàn)。

原文標題：浪潮在線壓縮，為數據存儲降本增效

文章出處：【微信公眾號：浪潮存儲】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅