基于機(jī)器學(xué)習(xí)算法的Web文本挖掘應(yīng)用研究.pdf

1、本論文從熱點信息抽取、Web文本分類、Web文本聚類三方面對機(jī)器學(xué)習(xí)算法在Web文本信息挖掘中的應(yīng)用與研究進(jìn)行了深入地分析：
　　 1、實現(xiàn)熱點信息抽取系統(tǒng)時，提出了一種名為熱點算法基礎(chǔ)矩陣(HABM)的技術(shù)，其根據(jù)對比某單一詞條在一段歷史時期內(nèi)的詞頻與目前的詞頻，判斷該詞條是否為熱門詞匯。擁有一定數(shù)量熱門詞匯的文章便成為熱門文章被抽取出來。
　　 2、Web文本分類系統(tǒng)依據(jù)支持向量機(jī)(SVM)技術(shù)，對LibSVM工具進(jìn)

2、行二次開發(fā)來實現(xiàn)多類分類。鑒于此工具無法直接處理文字信息，將文字信息轉(zhuǎn)換為TF-IDF空間向量模型后再做運算。另外還對LibSVM添加了雜質(zhì)分離的功能。
　　 3、Web文本聚類系統(tǒng)采用了改進(jìn)版的K-Means聚類算法，包括重新設(shè)計了聚類初始中心點的選擇算法、添加了分塊處理數(shù)據(jù)的能力、新增語料雜質(zhì)的分離等功能，使得算法在時間和空間上到達(dá)到處理大規(guī)模數(shù)據(jù)的要求。
　　 課題實現(xiàn)了一系列的優(yōu)化技術(shù)，包括磁盤散列文件、對象串行