數(shù)字化時代，各行業(yè)每天都會面對大量數(shù)據(jù)的使用與存放，如企業(yè)業(yè)務(wù)往來的訂單數(shù)據(jù)、醫(yī)院每天大量產(chǎn)生的醫(yī)療影像、政府機關(guān)單位各類電子檔案、廣電日常素材采集等，也包括ERP、HIS、MES等業(yè)務(wù)系統(tǒng)數(shù)據(jù)?！罢乒堋备鞣N業(yè)務(wù)數(shù)據(jù)存、管、用的存儲，其性能將會對業(yè)務(wù)的運轉(zhuǎn)產(chǎn)生很大影響。

評估一套存儲，性能是核心指標(biāo)之一。而影響存儲性能的因素通常有很多種，比如硬件配置、網(wǎng)絡(luò)時延、存儲軟件處理流程等。為了了解深信服分布式存儲EDS在每一部分的優(yōu)化措施，我們將一個業(yè)務(wù)I/O流程歸納為以下四層：

結(jié)合上述分層方式，我們來介紹EDS如何激發(fā)卓越性能。

客戶端業(yè)務(wù)網(wǎng)絡(luò)層優(yōu)化

1.降低業(yè)務(wù)網(wǎng)絡(luò)層時延

EDS通過增強支持NVMe-oF協(xié)議，來代替iSCSI和FC協(xié)議，并通過RDMA技術(shù)減少數(shù)據(jù)在客戶端內(nèi)存拷貝，縮短客戶端IO路徑，降低客戶端CPU開銷。

目前在實驗室內(nèi)測結(jié)果表示，NVMe-oF相比于通過FC接入在小塊隨機讀寫時延上降低60%以上(NVME-oF的IO傳輸時延在10us以內(nèi)，而FC通常在30us，iSCSI通常在70us）。

2.提升網(wǎng)絡(luò)接入并發(fā)

EDS通過虛擬IP池的方式實現(xiàn)客戶端統(tǒng)一IP接入，EDS服務(wù)端IO多路徑映射到存儲節(jié)點間均衡負載，每一個節(jié)點都可以參與IO接收和處理，因此EDS可以通過橫向地增加存儲節(jié)點獲得線性提升的網(wǎng)絡(luò)接入并發(fā)IO能力。值得一提的是，部分分布式存儲雖然存儲節(jié)點可以橫向擴展，但接入網(wǎng)關(guān)會限制在4個節(jié)點以內(nèi)，因此接入IO并發(fā)有限。

存儲軟件邏輯層優(yōu)化

1.降低IO路徑時延

（1）更高效的副本分發(fā)機制

EDS通過多副本和糾刪碼的方式進行數(shù)據(jù)冗余，以副本機制為例，多份副本并發(fā)寫入存儲節(jié)點的固態(tài)盤，寫入成功即向應(yīng)用返回成功，沒有主備副本之分。對比開源存儲架構(gòu)CEPH的副本分發(fā)機制，EDS的I/O路徑更短，寫時延更低。

（2）更高效的分層機制

在混合盤配置下，固態(tài)盤作為高性能層提供讀寫加速能力，EDS通過獨特的Tier分層減少了數(shù)據(jù)寫入固態(tài)盤后的數(shù)據(jù)二次復(fù)制，降低固態(tài)盤壽命損耗，提高IO處理效率。

（3）更高的分層命中率

EDS的業(yè)務(wù)讀操作會優(yōu)先從Tier分層讀取，所以業(yè)務(wù)讀性能跟SSD命中率強相關(guān)。由于性能層容量有限，如何把業(yè)務(wù)需要頻繁訪問的數(shù)據(jù)（即熱數(shù)據(jù)）留存在成為提升業(yè)務(wù)讀性能的關(guān)鍵。EDS通過更智能的熱力圖算法決定那部分數(shù)據(jù)留存在性能層，相比于傳統(tǒng)LRU算法可大幅度提升性能層命中率，提升業(yè)務(wù)讀性能。

（4）更智能的內(nèi)存預(yù)加載

為了提升業(yè)務(wù)讀性能，EDS文件存儲支持內(nèi)存預(yù)加載技術(shù)，提前將數(shù)據(jù)按以下機制預(yù)加載到高速內(nèi)存中，業(yè)務(wù)可直接從內(nèi)存獲取數(shù)據(jù)。

?基于目錄的預(yù)加載機制：大部分應(yīng)用場景，一個目錄保存的文件相關(guān)性較強，若目錄內(nèi)數(shù)據(jù)量較小，則將整個目錄的文件都加載到內(nèi)存。

?基于時間的預(yù)加載機制：若目錄內(nèi)的數(shù)據(jù)量較大，則通過創(chuàng)建時間將目錄內(nèi)的文件進行分組，當(dāng)某個組中的文件在短時間內(nèi)被讀取超過3個，則將整個組中的文件加載到內(nèi)存。

2.提升多磁盤并發(fā)

EDS通過自適應(yīng)條帶化和自研分布算法來充分發(fā)揮同一主機內(nèi)多塊磁盤的并發(fā)能力。

（1）自適應(yīng)條帶化技術(shù)

條帶化技術(shù)是指將一塊連續(xù)的數(shù)據(jù)切分成很多個小的數(shù)據(jù)塊，然后并發(fā)地存儲到不同物理硬盤上，實現(xiàn)對數(shù)據(jù)進行寫入或讀取時可以獲得 大程度上的I/O并發(fā)能力。

為了保證獲得 優(yōu)的I/O性能，EDS的條帶數(shù)會根據(jù)集群配置進行自適應(yīng)調(diào)整，無需用戶配置。

（2）性能 優(yōu)分布算法

為了保證性能 優(yōu)，EDS數(shù)據(jù)分布會優(yōu)先遵循以下三大策略：

?主機內(nèi)優(yōu)先跨磁盤組分布策略：每個磁盤組由1塊SSD和多塊HDD組成，跨越多個磁盤組，可以利用到更多的SSD的加速能力。  

?磁盤組內(nèi)優(yōu)先跨磁盤分布策略：在混合盤配置中，為了避免對一個條帶組內(nèi)的數(shù)據(jù)進行并發(fā)讀寫時對機械硬盤產(chǎn)生隨機的I/O（機械盤受限于物理結(jié)構(gòu)，隨機I/O性能較差），數(shù)據(jù)在磁盤組內(nèi)優(yōu)先跨磁盤分布。

?優(yōu)先選擇組件剩余容量 多策略：為了保證數(shù)據(jù)分布均衡，主機或磁盤的剩余容量大小也是數(shù)據(jù)分布時的一個重要考量因素。

3.提升小文件/對象寫入性能

在海量小文件/對象承載場景下EDS通過小文件合并技術(shù)大幅降低元數(shù)據(jù)規(guī)模，保證關(guān)鍵元數(shù)據(jù)都能夠完全存儲在有限的SSD上，并利用自研PhxKV數(shù)據(jù)庫對元數(shù)據(jù)進行管理，提升元數(shù)據(jù)訪問效率及故障修復(fù)的效率，從而提升EDS對海量小文件/對象讀寫效率，可以輕松承載百億級別的小文件/對象存儲。

服務(wù)器硬件層優(yōu)化

EDS支持在通用X86或ARM架構(gòu)的服務(wù)器上進行部署，相比于傳統(tǒng)存儲使用的專有硬件，所需投入的成本更低，并且EDS聯(lián)合Intel推出了精選解決方案：

對于普通生產(chǎn)業(yè)務(wù)承載，EDS推薦高性價比混閃方案，通過配置少量固態(tài)盤（SATA/NVMe/Optane）作為高性能層提供讀寫加速能力，配置大容量機械盤作為容量層承載更多數(shù)據(jù)。

對于核心高負載業(yè)務(wù)承載，EDS可以采用全閃存方案，支持全SATA和全NVMe SSD組成的高性能存儲資源池，通過25Gb/40Gb RoCE組網(wǎng)，為金融核心交易系統(tǒng)、測繪航測建模系統(tǒng)、醫(yī)療HIS等場景提供穩(wěn)定高性能的生產(chǎn)存儲。

存儲網(wǎng)絡(luò)層優(yōu)化

EDS的存儲網(wǎng)絡(luò)用來進行節(jié)點間數(shù)據(jù)同步，以多副本機制為例，由于存儲的多個副本之間要保證強一致性和數(shù)據(jù)可靠性，多個副本必須同時寫入到不同的存儲節(jié)點，因此存儲網(wǎng)絡(luò)時延也是影響性能的關(guān)鍵因素之一。EDS通過RDMA技術(shù)來減少內(nèi)存拷貝，降低CPU消耗，從而將存儲網(wǎng)時延降低到10微秒以內(nèi)。

在多項性能優(yōu)化措施的加持下，EDS在塊、文件、對象存儲性能實現(xiàn)了進一步升級。

塊存儲性能優(yōu)化

使用3節(jié)點混合盤配置的EDS集群（每節(jié)點配置2塊SATA接口固態(tài)盤作為緩存盤，6塊SATA 機械盤做數(shù)據(jù)盤）可提供43萬IOPS 性能，發(fā)揮物理硬件性能的92%以上。

并且性能可以橫向擴展，EDS集群規(guī)模擴展至8節(jié)點時，混合盤配置4KB隨機讀可達120萬IOPS。

對象存儲性能優(yōu)化

EDS對象存儲在3節(jié)點混合盤配置下可以承載100億個小對象數(shù)據(jù)，且性能下降不超過5%。而開源CEPH在對象規(guī)模實測達到3億時，性能下降已超過60%。

文件存儲性能優(yōu)化

使用3節(jié)點混合盤配置的EDS集群，EDS文件存儲可提供6GB/s的讀寫吞吐能力。

對存儲而言，性能優(yōu)化可謂是一場沒有終點的馬拉松，持續(xù)在通用硬件上激發(fā)出更高、更穩(wěn)定的存儲性能，用戶便可以用更低的成本投入獲得可支撐核心業(yè)務(wù)運行的存儲產(chǎn)品?；谛阅軆?yōu)化，目前深信服EDS已經(jīng)承載了廣電非編、AI訓(xùn)練、醫(yī)療影像長期歸檔、人臉圖像識別、制造業(yè)MES生產(chǎn)、金融交易清算等豐富的業(yè)務(wù)場景。EDS將持續(xù)通過大量的研發(fā)投入，和持續(xù)的版本迭代，讓用戶擁有更優(yōu)的存儲選擇。
文章轉(zhuǎn)載：深信服科技