深信服統(tǒng)一存儲(chǔ)EDS 520 版本，是一款專為AI大模型打造的統(tǒng)一存儲(chǔ)平臺(tái)，可以實(shí)現(xiàn)數(shù)據(jù)采集、標(biāo)記、訓(xùn)練、推理和歸檔的全流程承載。

一套存儲(chǔ)滿足AI大模型開發(fā)全流程的數(shù)據(jù)需求

基于NFS+技術(shù)優(yōu)化的存儲(chǔ)系統(tǒng)，通過RDMA技術(shù)、多路徑并行訪問以及多級(jí)緩存機(jī)制，在4K小文件混合讀寫IOPS和1M大文件混合讀寫吞吐方面，分別達(dá)到行業(yè)領(lǐng)先水平的1.7 倍和5.7倍，3節(jié)點(diǎn)吞吐達(dá)到120GB/s，RDMA多路徑帶寬性能比TCP單路徑提升將近50倍，將訓(xùn)練階段GPU平均利用率從傳統(tǒng)存儲(chǔ)的30%提升至70%。

這樣的設(shè)計(jì)不僅提高了大模型處理數(shù)據(jù)的效率，結(jié)合更高的讀寫速度和OPS，讓大模型在讀取或輸出視頻數(shù)據(jù)時(shí)能達(dá)到更快速度；而且增強(qiáng)了系統(tǒng)的靈活性和擴(kuò)展性，使大模型應(yīng)用可以應(yīng)對(duì)各種類型和規(guī)模數(shù)據(jù)的處理需求，讓大模型訓(xùn)練可以更高效地管理和存儲(chǔ)數(shù)據(jù)。

此外，在高性價(jià)比上，深信服EDS存儲(chǔ)實(shí)現(xiàn)了單TB可用容量成本降低50%，幫助用戶降低了AI模型訓(xùn)練的總體成本。實(shí)現(xiàn)硬件成本降低的同時(shí)，還基于深舟數(shù)據(jù)管理平臺(tái)對(duì)數(shù)據(jù)的高效壓縮和管理能力，64GB可以承載億級(jí)以上規(guī)模小文件的高速讀寫。