面向超級(jí)計(jì)算機(jī)的海量近線(xiàn)存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，科學(xué)研究、工業(yè)應(yīng)用和網(wǎng)絡(luò)服務(wù)等領(lǐng)域的數(shù)據(jù)規(guī)模正爆炸式增長(zhǎng)。當(dāng)前，超級(jí)計(jì)算機(jī)在科學(xué)研究和國(guó)民經(jīng)濟(jì)建設(shè)中發(fā)揮著非常重要的作用，應(yīng)用領(lǐng)域十分廣泛，具體包括石油勘探數(shù)據(jù)處理、生物醫(yī)藥研究、航空航天裝備研制、衛(wèi)星遙感數(shù)據(jù)處理、金融數(shù)據(jù)分析、氣象預(yù)報(bào)和氣候預(yù)測(cè)、海洋環(huán)境數(shù)值模擬、土木工程設(shè)計(jì)、新材料研發(fā)、基礎(chǔ)科學(xué)研究等。
　　然而，隨著數(shù)據(jù)規(guī)模不斷擴(kuò)大，超級(jí)計(jì)算機(jī)在處理大數(shù)據(jù)應(yīng)用時(shí)仍暴露出一些突出的問(wèn)題。超級(jí)計(jì)算機(jī)多采用

2、集中共享式存儲(chǔ)系統(tǒng)（如Lustre文件系統(tǒng)等），計(jì)算節(jié)點(diǎn)通過(guò)內(nèi)部高速互連網(wǎng)絡(luò)與存儲(chǔ)系統(tǒng)相連。通常，每個(gè)Lustre系統(tǒng)的容量為1-4PB，實(shí)際運(yùn)行情況表明：當(dāng)Lustre文件系統(tǒng)容量使用率大于70％時(shí)，存儲(chǔ)系統(tǒng)會(huì)出現(xiàn)不穩(wěn)定現(xiàn)象，使得超級(jí)計(jì)算機(jī)系統(tǒng)的穩(wěn)定性和可用性降低。現(xiàn)在，多個(gè)典型的大數(shù)據(jù)應(yīng)用均對(duì)超級(jí)計(jì)算中心的大數(shù)據(jù)存儲(chǔ)提出了越來(lái)越高的要求，如要求總的存儲(chǔ)容量達(dá)到10PB甚至以上，能與超級(jí)計(jì)算機(jī)的Lustre系統(tǒng)有機(jī)融合，等。所以，我們

3、需要研究一種新的存儲(chǔ)結(jié)構(gòu)，構(gòu)建基于超級(jí)計(jì)算機(jī)的層次式存儲(chǔ)系統(tǒng)，有效解決10PB到100PB級(jí)海量數(shù)據(jù)存儲(chǔ)的重大技術(shù)挑戰(zhàn)，為越來(lái)越多的大數(shù)據(jù)應(yīng)用提供存儲(chǔ)和處理服務(wù)。
　　本文提出了一種基于雙副本和RAID-Z的海量近線(xiàn)存儲(chǔ)系統(tǒng)（TH-MSS）的技術(shù)方案，TH-MSS與超級(jí)計(jì)算機(jī)的Lustre存儲(chǔ)系統(tǒng)相結(jié)合，可實(shí)現(xiàn)超級(jí)計(jì)算機(jī)的層次式海量存儲(chǔ)系統(tǒng)，用以解決大數(shù)據(jù)應(yīng)用對(duì)海量數(shù)據(jù)存儲(chǔ)的新要求。
　　本文的主要研究工作包括以下幾個(gè)方面：

4、
　?。?）分析超級(jí)計(jì)算機(jī)的存儲(chǔ)系統(tǒng)結(jié)構(gòu)，研究利用分級(jí)存儲(chǔ)構(gòu)建超級(jí)計(jì)算機(jī)層次式存儲(chǔ)系統(tǒng)的技術(shù)方法。
　?。?）分析基于超級(jí)計(jì)算機(jī)的大數(shù)據(jù)應(yīng)用對(duì)海量存儲(chǔ)系統(tǒng)的需求，提出一種基于雙副本和RAID-Z的海量近線(xiàn)存儲(chǔ)系統(tǒng)的技術(shù)方案，研究數(shù)據(jù)遷移管理的相關(guān)技術(shù)方法。
　　（3）設(shè)計(jì)實(shí)現(xiàn)了TH-MSS存儲(chǔ)策略?xún)?yōu)化和資源管理優(yōu)化方案，研究利用MPI實(shí)現(xiàn)多節(jié)點(diǎn)并行數(shù)據(jù)傳輸?shù)募夹g(shù)方法，分析了相關(guān)的關(guān)鍵技術(shù)。
　?。?）利用存儲(chǔ)服務(wù)