基于Hadoop平臺(tái)的分類(lèi)算法研究.pdf

1、大數(shù)據(jù)所具備的海量性（Volume）、多樣性（Variety）、高速性（Velocity）和低價(jià)值密度性（Value）的特點(diǎn)，使其對(duì)傳統(tǒng)的數(shù)據(jù)分類(lèi)算法而言成為了一種挑戰(zhàn)。由于受限于計(jì)算機(jī)的 CPU、內(nèi)存等資源，在處理大數(shù)據(jù)的分類(lèi)、計(jì)算負(fù)載、重復(fù)迭代過(guò)程中，花費(fèi)時(shí)間過(guò)長(zhǎng)，計(jì)算效率過(guò)低，算法執(zhí)行效率不能滿(mǎn)足海量數(shù)據(jù)處理的要求。
　　Hadoop是一個(gè)免費(fèi)開(kāi)源的框架，可編寫(xiě)和運(yùn)行分布式應(yīng)用，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行處理和分析。由于Hadoop平

2、臺(tái)具有易編寫(xiě)、可擴(kuò)展、低成本等特點(diǎn)，Hadoop在處理海量數(shù)據(jù)方面得了到廣泛應(yīng)用。Mahout是Hadoop平臺(tái)下免費(fèi)開(kāi)源的子項(xiàng)目，將采用Java語(yǔ)言編寫(xiě)的數(shù)據(jù)挖掘任務(wù)轉(zhuǎn)換成 MapReduce作業(yè)，專(zhuān)門(mén)用來(lái)解決各種復(fù)雜的數(shù)據(jù)挖掘問(wèn)題。
　　論文基于Hadoop平臺(tái)，借鑒Mahout項(xiàng)目中部分源代碼，對(duì)數(shù)據(jù)挖掘中的分類(lèi)算法進(jìn)行研究，設(shè)計(jì)并實(shí)現(xiàn)了兩種改進(jìn)的分類(lèi)算法：（1）針對(duì)當(dāng)前大數(shù)據(jù)環(huán)境下樸素貝葉斯文本分類(lèi)算法在處理文本分類(lèi)任務(wù)時(shí)

3、存在的數(shù)據(jù)稀疏以及效率低的問(wèn)題，提出了一種基于Hadoop的Dirichlet樸素貝葉斯文本分類(lèi)算法。該算法引入了統(tǒng)計(jì)語(yǔ)言建模技術(shù)中的Dirichlet數(shù)據(jù)平滑方法，在Hadoop平臺(tái)上實(shí)現(xiàn)了算法的并行化。并通過(guò)實(shí)驗(yàn)對(duì)比分析了該算法與傳統(tǒng)樸素貝葉斯文本分類(lèi)算法對(duì)大規(guī)模文本數(shù)據(jù)的分類(lèi)效果。結(jié)果表明，該算法顯著提高了傳統(tǒng)樸素貝葉斯文本分類(lèi)算法的準(zhǔn)確率、召回率，且具有高效性和易擴(kuò)展性，適用于大規(guī)模文本數(shù)據(jù)分類(lèi)。（2）針對(duì)當(dāng)前大數(shù)據(jù)環(huán)境下隨機(jī)森