基于Hadoop的Web文本挖掘的關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展,數(shù)據(jù)的產(chǎn)生和存儲達到了空前繁榮的階段,與此同時,如何從海量的數(shù)據(jù)中提取潛在的有用信息,給傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)帶來了嚴峻的考驗,基于云計算的數(shù)據(jù)挖掘的方法也應(yīng)運而生。
　　 Hadoop是云計算技術(shù)的一個開源平臺,其核心技術(shù)主要是Hadoop分布式文件系統(tǒng)(HDFS)和MapReduce編程模型,其中,HDFS存儲文件,MapReduce編程模型實現(xiàn)并行計算。由于利用Hadoop框架可以方便、快速地實現(xiàn)計算機

2、集群,能夠處理大型數(shù)據(jù)集,因此,將傳統(tǒng)的數(shù)據(jù)挖掘方法部署到Hadoop平臺具有實際的研究意義,實現(xiàn)這一技術(shù)的關(guān)鍵就是要對傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的并行化。
　　 目前為止,基于Hadoop的數(shù)據(jù)挖掘技術(shù)在某些方面已經(jīng)取得了一定的研究成果,但是該領(lǐng)域的研究還有待進一步推廣。本文以云計算技術(shù)及數(shù)據(jù)挖掘技術(shù)為理論基礎(chǔ),研究了文本預(yù)處理算法并對其進行改進,支持向量機算法并對其改進以及并行支持向量機算法的實現(xiàn)。論文主要研究內(nèi)容及成果如下:

3、　　 1、Hadoop分布式平臺及Web挖掘理論。本文對Hadoop兩大核心技術(shù)即HDFS和MapReduce編程框架進行了深入的研究,并詳細介紹了Web挖掘的相關(guān)理論及挖掘算法。
　　 2、Web文本預(yù)處理。本文從文本預(yù)處理的流程出發(fā),研究了預(yù)處理過程的具體步驟及其相關(guān)算法。由于在傳統(tǒng)的特征項表示模型中,沒有充分考慮權(quán)值較小特征項的影響,因此,本文提出了改進的特征項表示模型。在該模型中,首先求得所有特征向量的平均值,再對其進

4、行標準化,使得所有的特征項在同一起點上對文本分類起作用。最后通過實驗驗證了改進特征項表示模型的優(yōu)越性。
　　 3、改進的支持向量機算法及其并行實現(xiàn)。在該部分,首先詳細研究了支持向量機算法,并針對現(xiàn)有算法存在的問題,提出了改進的支持向量機算法,即通過改變核函數(shù),從而提高算法的學(xué)習(xí)泛化能力,使得分類器分類效果更好,同時,考慮到分類器的分類時間問題,本文利用相應(yīng)的并行策略實現(xiàn)支持向量機的并行算法,并將其部署到Hadoop分布式平臺,最