基于Hadoop的改進(jìn)Apriori算法研究及應(yīng)用.pdf

1、今天，我們正被數(shù)據(jù)包圍。經(jīng)過(guò)調(diào)查全球總共有四十多億部電話、二十多億網(wǎng)絡(luò)用戶，這么多的用戶每時(shí)每刻都在不停地產(chǎn)生數(shù)據(jù)。同時(shí)人們還使用手機(jī)進(jìn)行發(fā)送短信、上傳自己制作地視頻、更新自己在社交網(wǎng)站上的個(gè)人動(dòng)態(tài)信息、轉(zhuǎn)發(fā)別人的微博等等。數(shù)據(jù)如此快速地增長(zhǎng)向那些互聯(lián)網(wǎng)公司巨頭（國(guó)內(nèi)的百度、淘寶、騰訊，國(guó)外的Facebook、亞馬遜、微軟）提出了很大的挑戰(zhàn)。它們每天都需要對(duì)用戶產(chǎn)生的海量數(shù)據(jù)進(jìn)行分析處理，從而發(fā)現(xiàn)哪些網(wǎng)站人們喜歡點(diǎn)擊和閱讀，哪些商品消費(fèi)

2、者喜歡購(gòu)買，哪些廣告能夠吸引用戶進(jìn)行點(diǎn)擊。但是傳統(tǒng)的算法和工具對(duì)于處理如此規(guī)模的數(shù)據(jù)集的處理能力的越來(lái)越低效同時(shí)受制于內(nèi)存大小。
　　針對(duì)課題的要求，了解當(dāng)前Hadoop和并行Apriori算法國(guó)內(nèi)外研究進(jìn)展以及成果。在此基礎(chǔ)上本文詳細(xì)地介紹Hadoop技術(shù)和數(shù)據(jù)挖掘技術(shù)的相關(guān)概念和知識(shí)，其中在Hadoop技術(shù)中著重介紹了Hadoop的兩個(gè)核心:HDFS系統(tǒng)文件系統(tǒng)和編程模型MapReduce。接下來(lái)對(duì)傳統(tǒng)Apriori算法的思想