站長(zhǎng)資訊網(wǎng)自動(dòng)駕駛、智能制造、AI……新技術(shù)帶來(lái)數(shù)據(jù)量的爆炸式增長(zhǎng)，這也導(dǎo)致企業(yè)的存儲(chǔ)成本快速上升。
以自動(dòng)駕駛為例，L3級(jí)自動(dòng)駕駛項(xiàng)目需要存儲(chǔ)50到120PB的傳感器數(shù)據(jù)，這些數(shù)據(jù)要求在短時(shí)間內(nèi)分析完成，完整測(cè)試產(chǎn)生的數(shù)百PB數(shù)據(jù)需要存儲(chǔ)30年以上。這對(duì)訓(xùn)練效率和海量存儲(chǔ)的成本優(yōu)化提出了更高的要求。
分布式存儲(chǔ)，因其性能和擴(kuò)展性更高、TCO成本更優(yōu)，成為越來(lái)越多企業(yè)的選擇。作為一款企業(yè)級(jí)分布式存儲(chǔ)產(chǎn)品，杉巖MOS海量對(duì)象存儲(chǔ)(以下簡(jiǎn)稱(chēng)杉巖MOS)針對(duì)成本優(yōu)化，除了常規(guī)的糾刪碼、橫縱雙向擴(kuò)容外，還有哪些特色功能特性?來(lái)一探究竟!
常規(guī)特性解讀
1. 糾刪碼和亞節(jié)點(diǎn)糾刪，節(jié)省存儲(chǔ)空間
糾刪碼是提高存儲(chǔ)系統(tǒng)數(shù)據(jù)可靠性的一項(xiàng)編碼技術(shù)。杉巖MOS將糾刪碼技術(shù)應(yīng)用到數(shù)據(jù)冗余處理中。寫(xiě)入的對(duì)象被拆分為 K 個(gè)數(shù)據(jù)塊，然后編碼生成 M 個(gè)校驗(yàn)塊，總共 K+M 份數(shù)據(jù)通過(guò)DHT 算法分別存入不同硬盤(pán)中。當(dāng)系統(tǒng)出現(xiàn)故障，丟失了某些塊時(shí)，只要這個(gè)對(duì)象丟失的塊數(shù)目不超過(guò) M，就可通過(guò)數(shù)據(jù)恢復(fù)算法，將丟失的數(shù)據(jù)塊從剩余的塊中計(jì)算出來(lái)。在這種方式下，空間的利用率約為 K/(K+M)，數(shù)據(jù)的可靠性由 M 值的大小決定，M 越大可靠性越高。
例如“3+2”EC 配置下一個(gè)對(duì)象寫(xiě)入時(shí)，對(duì)象會(huì)生成 5 個(gè)塊，每個(gè)塊均存入不同的硬盤(pán)，如下圖所示：
圖 1 “3+2”EC 策略示意圖
杉巖MOS提供了靈活的EC配置方式以滿(mǎn)足不同應(yīng)用場(chǎng)景。杉巖MOS支持EC22+2的存儲(chǔ)策略，相較于HDFS的三副本策略，采用EC22+2存儲(chǔ)策略的存儲(chǔ)空間利用率提升了175%。
默認(rèn)的糾刪碼是按照節(jié)點(diǎn)來(lái)分配數(shù)據(jù)的，例如EC4+2需要配置6個(gè)節(jié)點(diǎn)，但亞節(jié)點(diǎn)糾刪可按照硬盤(pán)來(lái)分配數(shù)據(jù)，例如EC4+2:1，則是把3個(gè)節(jié)點(diǎn)當(dāng)6個(gè)節(jié)點(diǎn)用，每個(gè)節(jié)點(diǎn)選擇2塊硬盤(pán)，整個(gè)集群選擇6塊不同的硬盤(pán)來(lái)存放4+2總計(jì)6個(gè)分片數(shù)據(jù)。如下圖所示：
圖2 “4+2”EC 亞節(jié)點(diǎn)糾刪策略示意圖
因此，EC4+2:1相比EC2+1，雖然能容忍節(jié)點(diǎn)故障數(shù)量仍然是1個(gè)，但它可以允許2個(gè)節(jié)點(diǎn)分別有1塊硬盤(pán)故障(總計(jì)2塊硬盤(pán)故障)而數(shù)據(jù)不丟失。而實(shí)際情況下，硬盤(pán)故障的概率是遠(yuǎn)遠(yuǎn)低于整個(gè)節(jié)點(diǎn)故障的，所以EC4+2:1還是非常可靠的，在空間利用率上也遠(yuǎn)高于三副本。
配置建議：
在滿(mǎn)足性能及可靠性要求下配置適當(dāng)?shù)腅C策略。
在滿(mǎn)足性能要求下，節(jié)點(diǎn)數(shù)量少于EC塊數(shù)量，可以配置亞節(jié)點(diǎn)糾刪。
2. 無(wú)感知橫縱雙向擴(kuò)容，降低人力時(shí)間成本
杉巖MOS不僅支持節(jié)點(diǎn)的橫向擴(kuò)展，還可支持縱向擴(kuò)展。當(dāng)后期業(yè)務(wù)容量不足時(shí)，可在線擴(kuò)容節(jié)點(diǎn)磁盤(pán)或者節(jié)點(diǎn)。杉巖MOS基于多故障域的擴(kuò)容，配合存儲(chǔ)策略，向應(yīng)用屏蔽了底層存儲(chǔ)的變更細(xì)節(jié)，能夠在業(yè)務(wù)無(wú)感知的情況下，實(shí)現(xiàn)業(yè)務(wù)的擴(kuò)容，避免了傳統(tǒng)存儲(chǔ)變更時(shí)，需要業(yè)務(wù)系統(tǒng)同時(shí)變更的情況，大大減少了運(yùn)維人員及業(yè)務(wù)人員的工作量，降低人力時(shí)間成本。
配置建議：
將新擴(kuò)容的節(jié)點(diǎn)/磁盤(pán)獨(dú)立成一個(gè)故障域，避免數(shù)據(jù)的遷移，建議選擇當(dāng)前集群業(yè)務(wù)較少或無(wú)業(yè)務(wù)時(shí)間段操作，以防影響業(yè)務(wù)性能。
結(jié)合生命周期轉(zhuǎn)移技術(shù)，將某個(gè)故障域的數(shù)據(jù)自動(dòng)轉(zhuǎn)移到另一個(gè)故障域中，實(shí)現(xiàn)數(shù)據(jù)的分層存儲(chǔ)。
杉巖MOS特色特性解讀
3. 重刪及壓縮，節(jié)省存儲(chǔ)空間及帶寬
隨著企業(yè)業(yè)務(wù)的不斷增長(zhǎng)，需要存儲(chǔ)的數(shù)據(jù)越來(lái)越多。與此同時(shí)，企業(yè)可能面臨如下問(wèn)題：
歷史數(shù)據(jù)中可能存在大量的冗余數(shù)據(jù)。冗余數(shù)據(jù)的增長(zhǎng)消耗了非必要的存儲(chǔ)資源，導(dǎo)致存儲(chǔ)資源浪費(fèi)，存儲(chǔ)成本也隨之增加。
存儲(chǔ)容量的增加帶來(lái)了維護(hù)管理的復(fù)雜，增加了運(yùn)維成本及其他成本。
杉巖MOS支持?jǐn)?shù)據(jù)重刪、壓縮(包括對(duì)象壓縮及數(shù)據(jù)的傳輸壓縮)兩種功能。重刪功能通過(guò)刪除杉巖MOS中的冗余數(shù)據(jù)塊，減少冗余數(shù)據(jù)在站點(diǎn)內(nèi)占用的物理存儲(chǔ)容量，從而滿(mǎn)足日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。壓縮功能可在數(shù)據(jù)存儲(chǔ)時(shí)對(duì)數(shù)據(jù)桶進(jìn)行壓縮，以及在多站點(diǎn)的場(chǎng)景下，將數(shù)據(jù)壓縮后再傳輸，節(jié)省存儲(chǔ)容量及帶寬。
配置建議：
在文件共享訪問(wèn)等場(chǎng)景，建議開(kāi)啟重刪和壓縮。
在備份場(chǎng)景下，推薦啟用數(shù)據(jù)壓縮功能。
多站點(diǎn)同步場(chǎng)景下，建議開(kāi)啟數(shù)據(jù)傳輸壓縮。
注意事項(xiàng)：重刪和壓縮過(guò)程會(huì)占用CPU資源，所以重刪壓縮的數(shù)據(jù)越多，對(duì)系統(tǒng)性能的影響越大。
4. 數(shù)據(jù)分級(jí)存儲(chǔ)，降低歸檔成本
藍(lán)光存儲(chǔ)為客戶(hù)提供低成本、高可靠、長(zhǎng)周期、大容量的冷數(shù)據(jù)存儲(chǔ)服務(wù)，適用于海量、訪問(wèn)頻次低的非結(jié)構(gòu)化數(shù)據(jù)的存檔和管理。
數(shù)據(jù)的訪問(wèn)頻率通常會(huì)隨著時(shí)間的推移由熱轉(zhuǎn)冷，龐大的冷數(shù)據(jù)鮮少被再次調(diào)用，若繼續(xù)存在對(duì)象存儲(chǔ)中，成本非常高。杉巖MOS支持對(duì)數(shù)據(jù)進(jìn)行全生命周期管理，支持冷熱數(shù)據(jù)介質(zhì)分層遷移。基于成本考慮，可將冷數(shù)據(jù)自動(dòng)歸檔至公有云或藍(lán)光存儲(chǔ)，實(shí)現(xiàn)大容量、低成本、長(zhǎng)期保存數(shù)據(jù)。
配置建議：
重要數(shù)據(jù)建議備份至公有云。
結(jié)合生命周期策略，將冷數(shù)據(jù)歸檔至公有云或藍(lán)光存儲(chǔ)中。
5. 生命周期清除，降低存儲(chǔ)成本
杉巖MOS支持?jǐn)?shù)據(jù)生命周期管理，用戶(hù)可通過(guò)設(shè)定數(shù)據(jù)生命周期管理策略，定期自動(dòng)清理無(wú)用數(shù)據(jù)，釋放存儲(chǔ)空間。
配置建議：
針對(duì)無(wú)用數(shù)據(jù)，建議設(shè)置生命周期過(guò)期刪除策略，定期刪除無(wú)用數(shù)據(jù)。
統(tǒng)一設(shè)置桶的生命周期執(zhí)行時(shí)間，可以將執(zhí)行時(shí)間設(shè)置在數(shù)據(jù)流量較低的時(shí)間段，降低生命周期執(zhí)行對(duì)業(yè)務(wù)的影響。
6. 傳統(tǒng)SAN納管，降低采購(gòu)成本
杉巖MOS支持通過(guò)將客戶(hù)舊有的IP/FC-SAN設(shè)備掛載到MOS存儲(chǔ)節(jié)點(diǎn)，通過(guò)運(yùn)維界面一鍵配置，將SAN設(shè)備虛擬成MOS的存儲(chǔ)池，將其云化為對(duì)象存儲(chǔ)設(shè)備，保護(hù)客戶(hù)歷史投資，降低采購(gòu)成本。
圖3 將SAN設(shè)備虛擬成MOS的存儲(chǔ)池，利舊云化
7. NAS/S3異構(gòu)技術(shù)，降低管理成本
在企業(yè)用戶(hù)從使用傳統(tǒng)的文件存儲(chǔ)到使用對(duì)象存儲(chǔ)的應(yīng)用改造過(guò)程中，主要有以下幾個(gè)步驟：
業(yè)務(wù)系統(tǒng)代碼改造——數(shù)據(jù)遷移——數(shù)據(jù)校驗(yàn)——業(yè)務(wù)系統(tǒng)停機(jī)升級(jí)——增量數(shù)據(jù)遷移與校驗(yàn)——正式上線。
上述過(guò)程中，工作量最大的往往不是業(yè)務(wù)系統(tǒng)的代碼改造，而在于數(shù)據(jù)的遷移與校驗(yàn)。在數(shù)據(jù)遷移的過(guò)程中，涉及到數(shù)據(jù)的傳輸，文件數(shù)量及內(nèi)容的校驗(yàn)，每一項(xiàng)工作都會(huì)消耗大量的時(shí)間與人力，為業(yè)務(wù)的割接上線帶來(lái)了許多阻力。
NAS/S3異構(gòu)技術(shù)，實(shí)際上就是對(duì)象存儲(chǔ)系統(tǒng)對(duì)原有NAS/S3進(jìn)行納管，從而能夠通過(guò)對(duì)象存儲(chǔ)接口(S3)訪問(wèn)到NAS/S3中的數(shù)據(jù)，而無(wú)需數(shù)據(jù)遷移。在業(yè)務(wù)上線的過(guò)程中，省去了數(shù)據(jù)遷移與校驗(yàn)的過(guò)程，大大縮短了業(yè)務(wù)上線的時(shí)間窗口，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的快速切換與上線。
在經(jīng)濟(jì)趨緩的背景下，如何節(jié)省企業(yè)存儲(chǔ)成本，已經(jīng)成為優(yōu)化企業(yè)IT開(kāi)支的重要環(huán)節(jié)。杉巖MOS憑借優(yōu)異的產(chǎn)品性能和功能特性，例如重刪及壓縮、數(shù)據(jù)分級(jí)存儲(chǔ)、生命周期清除、傳統(tǒng)NAS納管和NAS/S3異構(gòu)技術(shù)，在幫助企業(yè)提高存儲(chǔ)空間利用率、保護(hù)歷史投資、節(jié)省存儲(chǔ)空間和采購(gòu)成本等方面有著獨(dú)特的價(jià)值優(yōu)勢(shì)。
深耕分布式存儲(chǔ)科技創(chuàng)新，杉巖數(shù)據(jù)幫助企業(yè)夯實(shí)數(shù)據(jù)底座、挖掘數(shù)據(jù)價(jià)值、釋放數(shù)據(jù)潛能，助力企業(yè)“降本增效”，從容應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)!
特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。
