基于Hadoop平臺(tái)的頻繁項(xiàng)數(shù)據(jù)挖掘算法研究.pdf

1、21世紀(jì)人類進(jìn)入了信息化的時(shí)代，在這個(gè)階段，利用計(jì)算機(jī)網(wǎng)絡(luò)處理數(shù)據(jù)是信息系統(tǒng)最常見(jiàn)的功能?；ヂ?lián)網(wǎng)可以說(shuō)是目前全球上最大的信息平臺(tái)，數(shù)據(jù)具有大型的，多樣化的，異構(gòu)的，動(dòng)態(tài)的特性。如何將這些龐大的數(shù)據(jù)進(jìn)行整理分析，幫助企業(yè)提取有價(jià)值的信息，已經(jīng)成為軟件系統(tǒng)開(kāi)發(fā)過(guò)程中的一項(xiàng)巨大挑戰(zhàn)。云計(jì)算技術(shù)的出現(xiàn)為數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來(lái)了新的機(jī)遇。擁有巨大的存儲(chǔ)和計(jì)算能力的云計(jì)算技術(shù)，通過(guò)部署在大量廉價(jià)的普通PC上，實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和分析，集群的規(guī)模可大

2、可小，而且相對(duì)于高性能計(jì)算機(jī)，普通PC要廉價(jià)的多，這樣存儲(chǔ)成本和計(jì)算成本都有所降低，使得基于云計(jì)算的大數(shù)據(jù)的數(shù)據(jù)挖掘變成可能。Hadoop是一個(gè)相對(duì)成熟的開(kāi)源云計(jì)算框架，因其高效、可擴(kuò)展性好，適合大規(guī)模計(jì)算以及其成本優(yōu)勢(shì)已被廣泛應(yīng)用在相關(guān)領(lǐng)域。
　　本文將Hadoop和數(shù)據(jù)挖掘算法Apriori算法整合，即在云環(huán)境中實(shí)現(xiàn)Apriori算法，以提高處理大數(shù)據(jù)的算法執(zhí)行效率。在這篇論文中，我們所使用的方法有如下幾種:文獻(xiàn)研究的方法，結(jié)

3、構(gòu)化研究方法，范例分析的方法。文獻(xiàn)研究，以了解當(dāng)前的形勢(shì)，為本文提供了理論上的參考。例如傳統(tǒng)的Apriori算法分析方法和實(shí)施過(guò)程，并證明了與Hadoop框架相結(jié)合的可行性。在本文中，一個(gè)典型的數(shù)據(jù)挖掘系統(tǒng)架構(gòu)是:提出了基于Hadoop的數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)，以及各個(gè)功能模塊進(jìn)行了簡(jiǎn)要描述。Apriori算法在處理大數(shù)據(jù)時(shí)的瓶頸在于時(shí)間復(fù)雜度過(guò)高。針對(duì)Apriori的這個(gè)缺點(diǎn)，將Apriori算法與Hadoop框架相結(jié)合，并對(duì)結(jié)合之后