電力云數(shù)據(jù)分析平臺數(shù)據(jù)挖掘算法的研究與應(yīng)用.pdf

1、隨著電網(wǎng)建設(shè)速度的加快,智能電網(wǎng)的發(fā)展,在智能終端迅速積累了大量的電力數(shù)據(jù),一年的數(shù)據(jù)存儲規(guī)模將從目前的GB級增長到TB級,甚至PB級,同時,數(shù)據(jù)維度也從幾十向上百過渡?？梢岳脭?shù)據(jù)挖掘算法對電力海量數(shù)據(jù)進行處理,但是傳統(tǒng)的數(shù)據(jù)挖掘算法在面對海量數(shù)據(jù)時,會面臨諸多瓶頸,比如數(shù)據(jù)的存儲問題和它的處理性能等,這就造成了數(shù)據(jù)挖掘算法不能有效地對海量數(shù)據(jù)進行處理。云計算具有高可靠性、虛擬性、分布式存儲和強大的并行計算能力,并且具有良好的擴展性能

2、,這些特點和數(shù)據(jù)挖掘相結(jié)合就能解決傳統(tǒng)數(shù)據(jù)挖掘所面臨的問題。在此背景下,本文對上述問題展開研究。
　　首先,為了有效地對海量電力數(shù)據(jù)進行負(fù)荷預(yù)測分析和用戶分類,選取了數(shù)據(jù)挖掘的經(jīng)典算法:關(guān)聯(lián)規(guī)則 Apriori算法和樸素貝葉斯算法,對這兩個算法進行了深入的研究,特別是算法的思想和算法的計算步驟。其次,在對兩個算法的思想有了理解之后,分析傳統(tǒng)的算法所存在的不足,并針對算法本身的特點,提出能夠改進的地方,關(guān)聯(lián)規(guī)則 Apriori算法中

3、頻繁項集的獲取和樸素貝葉斯算法的模型訓(xùn)練階段需要重復(fù)的計算,在這兩方面對算法進行并行化改進。最后,采用云計算技術(shù)中的MapReduce編程框架以及HBase分布式數(shù)據(jù)庫等技術(shù),對數(shù)據(jù)挖掘算法進行改進,并設(shè)計相應(yīng)的Map和Reduce函數(shù),以提高其處理海量數(shù)據(jù)的能力。并且在對數(shù)據(jù)挖掘算法進行并行化改進之后,將數(shù)據(jù)挖掘算法注冊到電力云數(shù)據(jù)分析平臺上去處理海量電力數(shù)據(jù)。
　　本文利用MapReduce框架對關(guān)聯(lián)規(guī)則Apriori算法和樸