基于MapReduce的聚類算法并行化研究.pdf

1、隨著社會信息化的進(jìn)程，海量數(shù)據(jù)迅速出現(xiàn)，許多并行數(shù)據(jù)挖掘算法已被提出。聚類分析是數(shù)據(jù)挖掘的一種強(qiáng)有力的分析工具，其顯著特征就是不需要任何先驗知識或信息，屬于無監(jiān)督學(xué)習(xí)。K-means算法是典型的基于劃分的聚類算法，簡單且易于實現(xiàn)，但也存在缺點，如對初始聚類中心敏感，易陷入局部最優(yōu)等。面對大規(guī)模海量數(shù)據(jù)和高維數(shù)據(jù)類型，傳統(tǒng)計算模型已經(jīng)難以提供所需的處理能力，Hadoop云計算平臺的出現(xiàn)為數(shù)據(jù)的處理提供了新的方式。
　　電力系統(tǒng)智能化

2、建設(shè)的不斷深入和推進(jìn)，電力系統(tǒng)數(shù)據(jù)呈現(xiàn)海量化、高維化的趨勢。當(dāng)今全球能源問題日益嚴(yán)峻，國內(nèi)外對智能電網(wǎng)的建設(shè)都進(jìn)行了深入推進(jìn)，伴隨著產(chǎn)生的電力數(shù)據(jù)呈指數(shù)級增長，成為了眾所關(guān)注的大數(shù)據(jù)。鑒于大數(shù)據(jù)在電網(wǎng)中出現(xiàn)的場合越來越多，有必要結(jié)合Hadoop云平臺，借助分布式冗余存儲及并行計算等，對電力海量數(shù)據(jù)的可靠、高效處理進(jìn)行研究。
　　本文利用云計算中的MapReduce并行框架對聚類分析中的K-means算法進(jìn)行并行化研究，并建模對電力

3、系統(tǒng)不良數(shù)據(jù)進(jìn)行檢測和辨識，主要的研究工作如下：
　　首先，針對傳統(tǒng)聚類算法無法滿足處理海量數(shù)據(jù)等情況，在分析現(xiàn)有K-means算法不足的基礎(chǔ)上，引入隨機(jī)抽樣和最大最小距離法等技術(shù)，并結(jié)合MapReduce并行計算框架，提出一種基于MapReduce的改進(jìn)K-means聚類算法—MR-IKmeans(MapReduce-based Improved K-means)。首先對數(shù)據(jù)集進(jìn)行多次隨機(jī)抽樣，然后運用兩階段最大最小距離法以產(chǎn)生

4、最佳初始聚類中心，最后再用K-means算法進(jìn)行聚類。選用UCI知名數(shù)據(jù)集在Hadoop集群上的實驗表明：該算法在收斂速度及聚類精度上優(yōu)于傳統(tǒng)K-means算法，且在處理海量數(shù)據(jù)時具有優(yōu)異的并行性能。
　　其次，針對電力系統(tǒng)中的不良數(shù)據(jù)將導(dǎo)致電力系統(tǒng)狀態(tài)估計結(jié)果的準(zhǔn)確性降低，而傳統(tǒng)聚類算法處理海量高維數(shù)據(jù)時單機(jī)計算資源不足，近年來較流行的MapReduce框架不能有效處理頻繁迭代計算等問題，提出一種基于Spark的并行K-mean

5、s算法辨識不良數(shù)據(jù)的新方法。以某一節(jié)點電力負(fù)荷數(shù)據(jù)為研究對象，運用基于Spark的并行K-means聚類算法提取出日負(fù)荷特征曲線，分別對輸電網(wǎng)狀態(tài)估計中的不良數(shù)據(jù)進(jìn)行檢測和辨識。選用EUNITE提供的真實電力負(fù)荷數(shù)據(jù)進(jìn)行實驗，結(jié)果表明此方法能有效提高狀態(tài)估計結(jié)果的準(zhǔn)確性，與基于MapReduce框架的方法相比，具有更好的加速比、擴(kuò)展性，能更好的處理電力系統(tǒng)的海量數(shù)據(jù)。
　　在實驗室搭建云計算集群并進(jìn)行實驗測試與算例分析，結(jié)果證明，