電力云數(shù)據(jù)分析平臺(tái)數(shù)據(jù)挖掘算法的研究與應(yīng)用.pdf

1、隨著電網(wǎng)建設(shè)速度的加快,智能電網(wǎng)的發(fā)展,在智能終端迅速積累了大量的電力數(shù)據(jù),一年的數(shù)據(jù)存儲(chǔ)規(guī)模將從目前的GB級(jí)增長(zhǎng)到TB級(jí),甚至PB級(jí),同時(shí),數(shù)據(jù)維度也從幾十向上百過(guò)渡?？梢岳脭?shù)據(jù)挖掘算法對(duì)電力海量數(shù)據(jù)進(jìn)行處理,但是傳統(tǒng)的數(shù)據(jù)挖掘算法在面對(duì)海量數(shù)據(jù)時(shí),會(huì)面臨諸多瓶頸,比如數(shù)據(jù)的存儲(chǔ)問(wèn)題和它的處理性能等,這就造成了數(shù)據(jù)挖掘算法不能有效地對(duì)海量數(shù)據(jù)進(jìn)行處理。云計(jì)算具有高可靠性、虛擬性、分布式存儲(chǔ)和強(qiáng)大的并行計(jì)算能力,并且具有良好的擴(kuò)展性能

2、,這些特點(diǎn)和數(shù)據(jù)挖掘相結(jié)合就能解決傳統(tǒng)數(shù)據(jù)挖掘所面臨的問(wèn)題。在此背景下,本文對(duì)上述問(wèn)題展開(kāi)研究。
　　首先,為了有效地對(duì)海量電力數(shù)據(jù)進(jìn)行負(fù)荷預(yù)測(cè)分析和用戶分類,選取了數(shù)據(jù)挖掘的經(jīng)典算法:關(guān)聯(lián)規(guī)則 Apriori算法和樸素貝葉斯算法,對(duì)這兩個(gè)算法進(jìn)行了深入的研究,特別是算法的思想和算法的計(jì)算步驟。其次,在對(duì)兩個(gè)算法的思想有了理解之后,分析傳統(tǒng)的算法所存在的不足,并針對(duì)算法本身的特點(diǎn),提出能夠改進(jìn)的地方,關(guān)聯(lián)規(guī)則 Apriori算法中

3、頻繁項(xiàng)集的獲取和樸素貝葉斯算法的模型訓(xùn)練階段需要重復(fù)的計(jì)算,在這兩方面對(duì)算法進(jìn)行并行化改進(jìn)。最后,采用云計(jì)算技術(shù)中的MapReduce編程框架以及HBase分布式數(shù)據(jù)庫(kù)等技術(shù),對(duì)數(shù)據(jù)挖掘算法進(jìn)行改進(jìn),并設(shè)計(jì)相應(yīng)的Map和Reduce函數(shù),以提高其處理海量數(shù)據(jù)的能力。并且在對(duì)數(shù)據(jù)挖掘算法進(jìn)行并行化改進(jìn)之后,將數(shù)據(jù)挖掘算法注冊(cè)到電力云數(shù)據(jù)分析平臺(tái)上去處理海量電力數(shù)據(jù)。
　　本文利用MapReduce框架對(duì)關(guān)聯(lián)規(guī)則Apriori算法和樸