基于Hadoop的web用戶訪問偏好分類研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)信息呈指數(shù)級增長，分類算法在大規(guī)模數(shù)據(jù)面前面臨著巨大的挑戰(zhàn)。當(dāng)前，國內(nèi)外的學(xué)者對分類模型與算法的研究主要集中在提高其分類的正確率以及時間空間復(fù)雜度上，然而在面對大規(guī)模數(shù)據(jù)，主要問題是海量數(shù)據(jù)的存儲和分類計算，傳統(tǒng)的方法已經(jīng)不能滿足需求。因此研究如何快速并且高效的對海量數(shù)據(jù)進(jìn)行分類具有重要意義。本文基于Hadoop分布式計算平臺，針對傳統(tǒng)樸素貝葉斯算法權(quán)重計算的缺陷，提出一種改進(jìn)的加權(quán)樸素貝葉斯算法，并運用在統(tǒng)計

2、Web用戶訪問偏好上。
　　首先介紹了課題的研究背景和意義以及國內(nèi)外研究現(xiàn)狀；然后介紹了課題涉及的相關(guān)技術(shù)，包括文本分類過程中的預(yù)處理、模型表示、特征詞選擇、特征權(quán)重計算，貝葉斯理論以及樸素貝葉斯分類算法，Hadoop分布式計算平臺的相關(guān)技術(shù)，主要包括HDFS分布式存儲和MapReduce分布式計算。
　　然后，基于 Hadoop平臺提出一種針對中英文的分詞算法，在分詞過程中引入Lucene，并通過統(tǒng)計法對歧義處理。針對Ha

3、doop平臺處理小文件緩慢的缺陷，實現(xiàn)了一種將若干小文本合并成一個大文件的輸入格式，實驗證明自定義的輸入格式能很好處理小文件輸入。針對傳統(tǒng)的樸素貝葉斯分類算法權(quán)重計算存在的缺陷，提出一種改進(jìn)的加權(quán)樸素貝葉斯分類算法，并在 Hadoop平臺通過5個MapReduce過程來實現(xiàn)，在Hadoop平臺下，使用8237條數(shù)據(jù)作為數(shù)據(jù)集進(jìn)行實驗，實驗表明改進(jìn)的加權(quán)樸素貝葉斯分類算法在宏平均和微平均F1值上都有很好的效果。
　　最后，通過研究的