基于Hadoop的K-means遙感影像分類算法的研究.pdf

1、K-Means算法是一種數(shù)據(jù)挖掘分析方法，由于其簡單高效的優(yōu)點(diǎn)，并且在缺乏先驗(yàn)知識的情況下，可將具有相似光譜特征的對象聚集在一起，因此在遙感圖像分類中得到廣泛應(yīng)用。但對于海量遙感影像的分類，傳統(tǒng)并行計(jì)算框架MPI對硬件基礎(chǔ)設(shè)施性能要求較高，且編程復(fù)雜，具有較大的應(yīng)用局限性。因此具有高效性、高擴(kuò)展性以及高容錯性等優(yōu)勢的Hadoop分布式系統(tǒng)平臺，在解決海量數(shù)據(jù)的存儲與計(jì)算問題方面得到了廣泛的應(yīng)用。但由于遙感影像數(shù)據(jù)格式的特殊性，目前基于H

2、adoop云平臺實(shí)現(xiàn)K-means算法對遙感影像數(shù)據(jù)的分類處理都需要對其進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，將其轉(zhuǎn)換為CLILAB格式像素點(diǎn)的文本文件，造成Map和Reduce數(shù)目分配過多，出現(xiàn)網(wǎng)絡(luò)傳輸耗時過多和內(nèi)存分配不足的問題。因此如何對海量遙感數(shù)據(jù)進(jìn)行有效組織、快速讀取以及高效分類處理成為當(dāng)前遙感領(lǐng)域研究的熱點(diǎn)。
　　本文利用Hadoop云平臺強(qiáng)大的存儲和計(jì)算能力，結(jié)合GDAL（柵格空間開源數(shù)據(jù)庫）快速讀取柵格圖像能力，實(shí)現(xiàn)在Hadoop云平

3、臺上利用K-means算法直接對遙感影像數(shù)據(jù)進(jìn)行分類處理，在保證分類精度的前提下，提高在Hadoop平臺上利用K-means算法對海量遙感影像數(shù)據(jù)的分類效率。本文主要研究內(nèi)容包括以下幾個方面：
　?。?）設(shè)計(jì)遙感影像的輸入輸出格式：由于Hadoop內(nèi)置的數(shù)據(jù)輸入輸出格式不能實(shí)現(xiàn)對遙感影像數(shù)據(jù)的傳輸，本文繼承Hadoop提供的數(shù)據(jù)輸入輸出格式的基類，在不破壞遙感影像數(shù)據(jù)結(jié)構(gòu)的情況下，實(shí)現(xiàn)在Hadoop上對遙感影像數(shù)據(jù)的輸入和輸出，保

4、證遙感影像數(shù)據(jù)信息的完整性。
　?。?）提出基于Hadoop平臺的遙感影像數(shù)據(jù)組織方式并采用相應(yīng)的數(shù)據(jù)存取方法：結(jié)合HDFS和HBase各自的優(yōu)點(diǎn)，將影像文件存儲在HDFS，元數(shù)據(jù)信息存儲在HBase，并采用相對應(yīng)的基于特定分割粒度的遙感影像數(shù)據(jù)的存取方法，有效提高了云平臺上對海量影像數(shù)據(jù)的存取效率。
　?。?）提出基于Hadoop的K-means遙感影像分類算法：結(jié)合MapReduce分布式計(jì)算框架的編程模型以及GDAL對

5、影像數(shù)據(jù)的快速讀寫能力，并對影響K-means算法分類的三個基本因素進(jìn)行詳細(xì)的分析，實(shí)現(xiàn)了K-means算法在Hadoop平臺上直接對遙感影像數(shù)據(jù)的分類處理。利用搭建的Hadoop平臺對不同數(shù)據(jù)量大小的影像數(shù)據(jù)進(jìn)行了分類實(shí)驗(yàn)，從分類精度和平臺性能兩方面進(jìn)行了分析。實(shí)驗(yàn)結(jié)果表明：本文方法分類結(jié)果的精度比ENVI軟件K-means算法的處理結(jié)果有所提高，并與在Hadoop平臺上利用K-means算法對轉(zhuǎn)換后影像數(shù)據(jù)的分類處理結(jié)果相比提高了平