面向Lustre文件系統(tǒng)的存儲(chǔ)系統(tǒng)模擬器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，高性能計(jì)算機(jī)技術(shù)和應(yīng)用技術(shù)飛速發(fā)展，在科學(xué)研究與國(guó)民經(jīng)濟(jì)建設(shè)中正發(fā)揮著日益重要的作用。以國(guó)家超級(jí)計(jì)算天津中心為例，該中心使用的天河一號(hào)超級(jí)計(jì)算機(jī)（TH-1A），應(yīng)用領(lǐng)域廣泛，主要應(yīng)用領(lǐng)域包括石油勘探數(shù)據(jù)處理、生物醫(yī)藥研發(fā)、氣象氣候和海洋環(huán)境研究、航空航天飛行器研制、工程仿真等。TH-1A超級(jí)計(jì)算機(jī)在天津超算中心運(yùn)行已4年多，實(shí)際運(yùn)行表明：系統(tǒng)設(shè)計(jì)合理、綜合性能好，系統(tǒng)穩(wěn)定可靠，成功地完成了許多大規(guī)模、典型和復(fù)雜的計(jì)算任務(wù)。TH-

2、1A采用Lustre文件系統(tǒng)作為存儲(chǔ)系統(tǒng)，實(shí)踐表明，Lustre系統(tǒng)為T(mén)H-1A的存儲(chǔ)系統(tǒng)提供了良好的性能支撐，Lustre配置的靈活性使得TH-1A在面對(duì)不同應(yīng)用時(shí)可以通過(guò)不同的配置參數(shù)實(shí)現(xiàn)應(yīng)用性能的調(diào)優(yōu)，特別是在超大規(guī)模的石油數(shù)據(jù)處理中的應(yīng)用，獲得了較好的應(yīng)用，對(duì)充分發(fā)揮TH-1A系統(tǒng)的整體應(yīng)用性能起到了非常重要的作用。
　　同時(shí)，隨著TH-1A應(yīng)用服務(wù)范圍的不斷擴(kuò)展，以及應(yīng)用程序所處理的數(shù)據(jù)量的不斷增加，TH-1A存儲(chǔ)系統(tǒng)在

3、海量數(shù)據(jù)存儲(chǔ)和處理上也表現(xiàn)出了一些問(wèn)題。如某些I/O密集型應(yīng)用要求存儲(chǔ)系統(tǒng)具有較快的讀寫(xiě)速度，而Lustre文件系統(tǒng)易于在元數(shù)據(jù)存儲(chǔ)和處理上形成瓶頸，影響存儲(chǔ)系統(tǒng)整體的讀寫(xiě)速度。另外，由于受限于內(nèi)部高速互連網(wǎng)絡(luò)端口的數(shù)量，使得OST的數(shù)量難以大幅擴(kuò)充，以大容量磁盤(pán)（如3TB或者更大容量）替換目前的1-2TB磁盤(pán)來(lái)擴(kuò)大存儲(chǔ)系統(tǒng)的容量又會(huì)在磁盤(pán)失效時(shí)帶來(lái)過(guò)長(zhǎng)的數(shù)據(jù)恢復(fù)時(shí)間，影響存儲(chǔ)系統(tǒng)的可維性，這兩個(gè)原因使得TH-1A的存儲(chǔ)系統(tǒng)在擴(kuò)充存儲(chǔ)容

4、量時(shí)遇到了困難。
　　TH-1A作為目前先進(jìn)的高性能計(jì)算機(jī)，在存儲(chǔ)系統(tǒng)方面表現(xiàn)出來(lái)的問(wèn)題具有一定的代表性。在當(dāng)前HPC TOP50的超級(jí)計(jì)算機(jī)，存儲(chǔ)系統(tǒng)多采用Lustre，在面對(duì)相同的應(yīng)用情況時(shí)也會(huì)表現(xiàn)出與TH-1A相類似的技術(shù)問(wèn)題。
　　由于超級(jí)計(jì)算機(jī)的Lustre系統(tǒng)在數(shù)據(jù)密集型應(yīng)用時(shí)表現(xiàn)出一些問(wèn)題，同時(shí)，我們又在研制新一代的超級(jí)計(jì)算機(jī)，為了了解現(xiàn)有的存儲(chǔ)系統(tǒng)在各種典型的應(yīng)用過(guò)程中出現(xiàn)不同問(wèn)題的原因，研究解決問(wèn)題和優(yōu)化性

5、能的技術(shù)方法，并為研制新一代超級(jí)計(jì)算機(jī)的新型存儲(chǔ)系統(tǒng)提供研究和分析手段，有必要構(gòu)建面向存儲(chǔ)系統(tǒng)的功能和性能的模擬器，對(duì)目標(biāo)系統(tǒng)進(jìn)行模擬，分析存儲(chǔ)系統(tǒng)的運(yùn)行特性，研究分析存儲(chǔ)系統(tǒng)的各種設(shè)計(jì)參數(shù)，優(yōu)化現(xiàn)有存儲(chǔ)系統(tǒng)，指導(dǎo)新的存儲(chǔ)系統(tǒng)的設(shè)計(jì)。
　　本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于Lustre存儲(chǔ)系統(tǒng)的存儲(chǔ)系統(tǒng)模擬器，主要進(jìn)行了以下幾項(xiàng)研究工作：
　?。?）研究目前典型I/O密集型應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的性能要求，結(jié)合Lustre文件系統(tǒng)的組成結(jié)構(gòu)和

6、I/O操作流程，分析Lustre文件系統(tǒng)在I/O密集型應(yīng)用時(shí)可能表現(xiàn)的問(wèn)題。
　?。?）分析目前軟件模擬器設(shè)計(jì)的主要方法，提出了本文的Lustre系統(tǒng)模擬器的設(shè)計(jì)方法。
　?。?）設(shè)計(jì)并實(shí)現(xiàn)了以Lustre文件系統(tǒng)為目標(biāo)系統(tǒng)的存儲(chǔ)系統(tǒng)模擬器LustreSim，并通過(guò)與TH-1A超級(jí)計(jì)算機(jī)Lustre系統(tǒng)性能測(cè)試和逆時(shí)偏移抽道集應(yīng)用程序運(yùn)行的對(duì)比分析，驗(yàn)證了其正確性與可用性。
　?。?）研究了影響Lustre文件系統(tǒng)性能