WEB文本自動分類的設(shè)計與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，人們從Web上可以獲得的信息資源越來越多，涉及到社會生活的各個方面。Web文本分類技術(shù)的產(chǎn)生在網(wǎng)絡(luò)信息檢索中起到舉足輕重的作用。處理海量數(shù)據(jù)涉及到數(shù)據(jù)挖掘和數(shù)據(jù)庫中的知識，因此Web挖掘技術(shù)和Web信息檢索技術(shù)得到迅速發(fā)展。而文本分類對于搜索引擎的發(fā)展也起著至關(guān)重要的作用，因此，本論文著重討論了文本分類的方法，促進現(xiàn)代信息產(chǎn)業(yè)發(fā)展。
　　 本文對Web文本自動分類中所涉及的各項技術(shù)進行了全面的論述，并對關(guān)

2、鍵技術(shù)進行了深入的研究。對現(xiàn)有的多種中文分詞方法進行深入分析，并針對基于統(tǒng)計的分詞算法提出了一種改進的分詞算法，采用一種插值估計方法來解決數(shù)據(jù)稀疏問題，通過開放測試與封閉測試結(jié)果分析，可得到高召回率的粗分結(jié)果。在對特征提取方法進行深入研究的基礎(chǔ)上，設(shè)計并實現(xiàn)了一個基于支持向量機的Web文本分類系統(tǒng)。該系統(tǒng)可以在監(jiān)督學習下，通過訓練集和測試集對分類器進行訓練和測試。通過實驗結(jié)果可知，該系統(tǒng)的查準率、查全率和F測度值等指標總體上的平均值都較