面向高并發(fā)數(shù)據(jù)訪問的并行I-O性能優(yōu)化機(jī)制研究.pdf

1、在當(dāng)今大數(shù)據(jù)時代下，很多科學(xué)計算應(yīng)用正從傳統(tǒng)的計算密集型向數(shù)據(jù)密集型模式進(jìn)行轉(zhuǎn)變。在這些科學(xué)計算應(yīng)用中，多個進(jìn)程同時訪問一個共享文件是一種非常常見的并行I/O訪問模式，其I/O性能始終是制約并行程序運(yùn)行效率的一個重要因素，為了提高程序性能，針對這種訪問模式進(jìn)行I/O優(yōu)化的MPI-IO庫被廣泛采用，得到了良好的效果。與此同時，為了適應(yīng)大數(shù)據(jù)存儲與訪問需求，諸如Lustre等并行文件系統(tǒng)也被越來越多地部署在高性能計算環(huán)境中，這為傳統(tǒng)并行I/

2、O中高并發(fā)數(shù)據(jù)訪問優(yōu)化帶來了新的挑戰(zhàn)。
　　為了解決新環(huán)境下面臨的并行I/O性能問題，面向高并發(fā)數(shù)據(jù)訪問的并行I/O性能優(yōu)化系統(tǒng)，通過采用將應(yīng)用I/O訪問模式與數(shù)據(jù)物理布局相匹配的設(shè)計思路，重新組織I/O請求順序，使得I/O代理進(jìn)程與I/O節(jié)點(diǎn)之間形成“一對一”的匹配模式，從而減少高并發(fā)數(shù)據(jù)訪問時的數(shù)據(jù)訪問競爭。該優(yōu)化系統(tǒng)先通過獲取分析應(yīng)用I/O訪問模式，從而將其轉(zhuǎn)換成數(shù)據(jù)物理存儲訪問信息。然后綜合兩者信息，設(shè)計實(shí)現(xiàn)優(yōu)化的代理進(jìn)程

3、選擇方法與文件域劃分方式，使得各I/O節(jié)點(diǎn)都能保證均衡的I/O負(fù)載，同時將待訪問的文件數(shù)據(jù)段按鎖邊界對齊，減少鎖競爭的發(fā)生。最后對I/O請求進(jìn)行重新組織調(diào)整，得到最優(yōu)的請求順序，從而保證將一個大的數(shù)據(jù)請求分成若干子請求時，在完成每個子請求的迭代過程中，不會產(chǎn)生資源訪問競爭。這種基于迭代過程這一更細(xì)的并行粒度的優(yōu)化策略，為I/O請求重組織提供了更高的靈活性，保證減少數(shù)據(jù)訪問競爭的同時，不會引入額外的進(jìn)程間通信開銷。
　　基于Lust