基于計(jì)算存儲(chǔ)一體化策略的遙感數(shù)據(jù)高性能計(jì)算研究及應(yīng)用.pdf

1、高性能計(jì)算機(jī)的迅速發(fā)展為海量遙感數(shù)據(jù)處理提供了強(qiáng)大的計(jì)算資源，基于集群及計(jì)算存儲(chǔ)一體化的高性能計(jì)算已成為目前最主要的計(jì)算平臺(tái)。在集群環(huán)境下設(shè)計(jì)并實(shí)現(xiàn)海量遙感數(shù)據(jù)并行處理系統(tǒng)是提高遙感數(shù)據(jù)處理速度的必然選擇。
　　隨著高分辨率及傳感器類型的增加，遙感數(shù)據(jù)TB級(jí)的增長(zhǎng)對(duì)高性能遙感數(shù)據(jù)處理平臺(tái)的I/O要求造成非常大的壓力，包括服務(wù)器磁盤的讀寫壓力，服務(wù)器網(wǎng)段的傳輸壓力等，為了最大化發(fā)揮分布式并行優(yōu)勢(shì)，在保證系統(tǒng)安全穩(wěn)定的前提下，本文采用

2、了計(jì)算存儲(chǔ)一體化策略，以減少并行處理系統(tǒng)中的數(shù)據(jù)傳輸。
　　本文在分析了網(wǎng)格、云計(jì)算及集群計(jì)算等幾種高性能計(jì)算的優(yōu)缺點(diǎn)基礎(chǔ)上，提出并實(shí)現(xiàn)了一種基于計(jì)算存儲(chǔ)一體化的高性能集群架構(gòu)，以實(shí)現(xiàn)對(duì)海量遙感數(shù)據(jù)的高效處理，并在衛(wèi)星遙感基礎(chǔ)共性產(chǎn)品一體化處理系統(tǒng)中得以應(yīng)用。
　　本文的工作主要體現(xiàn)在以下幾點(diǎn):
　　(1)基于已有集群系統(tǒng)，深入研究遙感數(shù)據(jù)高性能計(jì)算處理系統(tǒng)，針對(duì)海量遙感數(shù)據(jù)對(duì)處理平臺(tái)I/O、服務(wù)器磁盤的讀寫及網(wǎng)絡(luò)傳輸

3、造成的壓力等問題，采用把數(shù)據(jù)存儲(chǔ)從原來集中到一個(gè)機(jī)器變成計(jì)算、存儲(chǔ)一體化架構(gòu)，最大限度降低系統(tǒng)架構(gòu)的I/O傳輸，更充分利用了存儲(chǔ)服務(wù)器的計(jì)算資源、計(jì)算服務(wù)器的存儲(chǔ)資源，從而提高平臺(tái)的整理處理時(shí)效。
　　(2)采用了邏輯上靜態(tài)、物理上可動(dòng)態(tài)擴(kuò)展的分布式存儲(chǔ)模型來實(shí)現(xiàn)對(duì)海量遙感數(shù)據(jù)的存儲(chǔ)及管理。引入虛擬磁盤空間(VDS)的概念來把切片分配到多個(gè)存儲(chǔ)站點(diǎn)，并采用交叉?zhèn)浞莘绞酱_保系統(tǒng)的穩(wěn)定性。
　　(3)采用三級(jí)并行策略來最大化發(fā)揮