云環(huán)境下的關聯(lián)規(guī)則挖掘算法研究.pdf

1、隨著信息技術(shù)的突飛猛進，特別是計算機硬件性能的不斷提高，人們收集、存儲、傳輸?shù)臄?shù)據(jù)量已經(jīng)達到海量級。從海量數(shù)據(jù)中提煉出有用信息是一項富有挑戰(zhàn)性的任務，也正是數(shù)據(jù)挖掘這門學科的主要目的。數(shù)據(jù)挖掘需要依賴高性能的挖掘算法和穩(wěn)定的軟件平臺。
　　傳統(tǒng)的挖掘算法大部分采用串行設計，考慮的主要是節(jié)省內(nèi)存開銷，隨著“大數(shù)據(jù)時代”來臨，依賴于單機工作的傳統(tǒng)挖掘技術(shù)已無法有效處理日漸頻繁的挖掘請求和日益增長的數(shù)據(jù)量。
　　云計算應運而生，作

2、為一種新興的基于互聯(lián)網(wǎng)的計算手段，它使得用戶可以像使用水電資源一樣使用計算和存儲資源。將云計算運用到數(shù)據(jù)挖掘，可以充分利用其分布式的優(yōu)勢處理“大數(shù)據(jù)”。ApacheHadoop是一款開源軟件，實現(xiàn)了包括分布式文件系統(tǒng)HDFS和MapReduce框架在內(nèi)的云計算軟件平臺和基礎架構(gòu)，是云計算技術(shù)中的重要組成部分，目前已成為工業(yè)界和學術(shù)界進行云計算應用和研究的標準平臺。
　　本文首先分析了Apriori、FP-growth、Eclat等

3、傳統(tǒng)關聯(lián)規(guī)則挖掘算法的設計思想、優(yōu)缺點，然后剖析了Hadoop平臺的架構(gòu)和
　　MapReduce的運行機制。在此基礎上，主要完成以下工作:
　　1、分析了Apriori算法在MapReduce框架下的并行化版本，即SPC/DPC算法的設計和優(yōu)缺點;分析了FP-growth算法在MapReduce框架下的并行化版本，即PFP算法的設計和優(yōu)缺點。
　　2、提出并實現(xiàn)了Eclat算法在MapReduce框架下的并行化版本，