基于減少外存訪問的多任務(wù)圖處理系統(tǒng)研究.pdf

1、圖處理系統(tǒng)正被廣泛的應(yīng)用于各個領(lǐng)域的數(shù)據(jù)分析中，隨著圖處理任務(wù)的增加，它們需要有效的應(yīng)對多任務(wù)環(huán)境。現(xiàn)有的圖處理系統(tǒng)一般針對單一任務(wù)設(shè)計，在執(zhí)行并行任務(wù)時存在圖數(shù)據(jù)的重復(fù)和數(shù)據(jù)訪問帶寬的競爭。
　　內(nèi)存模式圖處理系統(tǒng)節(jié)點間的交換數(shù)據(jù)為圖處理任務(wù)私有，執(zhí)行并行任務(wù)時對網(wǎng)絡(luò)帶寬的競爭是系統(tǒng)的瓶頸?，F(xiàn)有的外存模式圖處理系統(tǒng)可以避免網(wǎng)絡(luò)通信開銷，但是并行任務(wù)對圖數(shù)據(jù)訪問的不一致易造成I/O爭用，影響性能。通過對現(xiàn)有外存模式圖處理系統(tǒng)I/O

2、優(yōu)化方法的分析，提出了基于I/O去重、圖數(shù)據(jù)共享的數(shù)據(jù)訪問模型，從理論上論證了在面對并行任務(wù)時相對于傳統(tǒng)模型的優(yōu)勢與局限性?；谠撃Ｐ?，設(shè)計并實現(xiàn)了面向多任務(wù)環(huán)境的外存模式圖處理系統(tǒng) GraphDeSh。GraphDeSh通過對外存數(shù)據(jù)的統(tǒng)一訪問消除了I/O重復(fù)，通過共享緩存的設(shè)計平衡了并行任務(wù)執(zhí)行速度的差異，優(yōu)化了并行任務(wù)的數(shù)據(jù)等待時間。
　　使用不同的數(shù)據(jù)集和不同的算法組合測試了GraphDeSh的性能，驗證了基于I/O去重、