文本挖掘預(yù)處理相關(guān)基礎(chǔ)技術(shù)分析與應(yīng)用研究.pdf

1、本論文將在對(duì)比分析并發(fā)現(xiàn)現(xiàn)有文本挖掘技術(shù)存在不足的基礎(chǔ)上，提出改進(jìn)文本預(yù)處理精度的算法。文中涉及的主要技術(shù)包括文本收集、文本預(yù)處理、處理后的文本的中文分詞、預(yù)抽取訓(xùn)練樣本及使用KNN方法進(jìn)行文本訓(xùn)練和文本分類等。通過(guò)對(duì)系統(tǒng)功能的分析，本研究把系統(tǒng)分成了文本預(yù)處理、中文分詞、文本特征向量的提取、文本特征向量的訓(xùn)練和分類等四部分。 在文本特征向量的提取、文本特征向量的訓(xùn)練和分類部分中，作者研究了一種基于詞的文檔頻率(DF)和信息增益

2、相融合的的方法，這種方法不僅相對(duì)簡(jiǎn)單，有層次感，而且在保證分類器性能的基礎(chǔ)上，可以允許我們適當(dāng)?shù)剡x擇訓(xùn)練樣本，減少支持向量，從而提高KNN的訓(xùn)練和分類速度。接著介紹了KNN的基本理論以及目前KNN方法在文本分類中的應(yīng)用情況，以及如何使用KNN，利用獲得的文本特征向量及其權(quán)重來(lái)生成輸入文檔，進(jìn)行文本訓(xùn)練和分類的過(guò)程。 本課題實(shí)現(xiàn)了文本收集、文本預(yù)處理和中文分詞等文本挖掘的關(guān)鍵技術(shù)，并在研究的基礎(chǔ)上提出了一套特征抽取及文本挖掘的方案