一種基于MongoDB和HDFS的大規(guī)模遙感數(shù)據(jù)存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、遙感數(shù)據(jù)有多標(biāo)準(zhǔn)、多類型、多尺度、多級別、海量以及分布式存儲的特征。隨著遙感技術(shù)和信息處理技術(shù)的不斷進(jìn)步，不同類型、不同級別的遙感數(shù)據(jù)不斷涌現(xiàn)，社會各領(lǐng)域?qū)b感觀測數(shù)據(jù)的需求越來越大，我國各部門和科研機(jī)構(gòu)都建立了針對各行業(yè)不同資源類型、彼此異構(gòu)的遙感影像庫，形成了一個分布式的、異構(gòu)的、跨部門的、跨地域、資源類型多樣的遙感數(shù)據(jù)庫群，大大制約了各部門間遙感數(shù)據(jù)的共享和應(yīng)用。為了滿足對遙感數(shù)據(jù)的管理及共享需求，我們實(shí)現(xiàn)了一個基于MongoDB

2、和HDFS的大規(guī)模遙感數(shù)據(jù)存儲系統(tǒng)，本文介紹了系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)，并重點(diǎn)介紹了異構(gòu)遙感元數(shù)據(jù)集成以及海量遙感數(shù)據(jù)高效存儲兩項(xiàng)關(guān)鍵技術(shù)。
　　 針對遙感元數(shù)據(jù)多源、異構(gòu)、海量等特點(diǎn)本文提出了一種基于映射模板的異構(gòu)遙感元數(shù)據(jù)集成方法，可以實(shí)現(xiàn)異構(gòu)遙感元數(shù)據(jù)的格式化統(tǒng)一及高效存儲。并具有支持元數(shù)據(jù)動態(tài)擴(kuò)展的能力，可以解析不斷涌現(xiàn)的新類型新格式遙感元數(shù)據(jù)，解決了以往的元數(shù)據(jù)管理系統(tǒng)擴(kuò)展性兼容性差且不利于數(shù)據(jù)共享的問題。
　　

3、遙感元數(shù)據(jù)特點(diǎn)是異構(gòu)、只讀、小文件、海量。而遙感影像數(shù)據(jù)不但具有只讀、海量的特點(diǎn)，而且單個遙感影像數(shù)據(jù)文多為GB數(shù)量級的大文件，而且多為冷數(shù)據(jù)訪問頻次少。系統(tǒng)的存儲層通過采用遙感元數(shù)據(jù)和遙感影像數(shù)據(jù)分離存放的策略，并針對兩種數(shù)據(jù)的特點(diǎn)進(jìn)行了優(yōu)化。針對遙感元數(shù)據(jù)采用了基于MongoDB的存儲架構(gòu)，系統(tǒng)不但能夠提供高效的數(shù)據(jù)存儲，而且具有高可靠性、高擴(kuò)展性的特點(diǎn)。針對遙感影像數(shù)據(jù)系統(tǒng)采用基于HDFS的分布式文件存儲架構(gòu)，而且為了提高存儲資源