特征選擇與貝葉斯文本分類方法的研究.pdf

1、隨著網(wǎng)絡(luò)應(yīng)用的飛速發(fā)展和大規(guī)模數(shù)據(jù)倉庫技術(shù)的廣泛應(yīng)用，人們越來越容易獲得來自各個方面的大量信息。與此同時卻也面對著“數(shù)據(jù)豐富，但信息貧乏”的挑戰(zhàn)。因此人們迫切需要可以從海量的數(shù)據(jù)信息中發(fā)現(xiàn)有用的規(guī)律和有價值的知識的方法和工具。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)技術(shù)的產(chǎn)生正是順應(yīng)了這個需求，并正以強大的生命力蓬勃發(fā)展，成為數(shù)據(jù)庫研究的一個新領(lǐng)域。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，是數(shù)據(jù)挖掘研究的一個重點和熱點。文本分類技術(shù)可以在很大程度上解決

2、信息混亂問題，從而協(xié)助人們高效管理和有效利用大量文本信息。為了得到更好的文本分類性能，本文對文本分類中的關(guān)鍵技術(shù)進行了分析總結(jié)，這些包括：文本表示模型、文本預處理、特征選擇和分類方法等。其中特別對特征選擇和貝葉斯文本分類算法作了深入的研究。在這些研究的基礎(chǔ)上本文將改進了的特征選擇方法與改進了的貝葉斯文本分類方法有效結(jié)合起來，實現(xiàn)了一個文本分類系統(tǒng)。最后我們做了兩組實驗來評定系統(tǒng)的性能。本文主要研究內(nèi)容如下：
　　 ⑴對文本分類過

3、程中的關(guān)鍵技術(shù)進行了研究，包括文本表示模型、文本預處理、特征選擇、分類算法等。特別對幾種常用的文本分類方法進行了研究。
　　 ⑵分析和討論了貝葉斯分類方法的原理，特點以及性能，并根據(jù)文本分類的需要，重點研究了樸素貝葉斯文本分類的改進算法。
　　 ⑶由于文本數(shù)據(jù)是一種常見的高維數(shù)據(jù)，因此對其進行有效的降維是提升貝葉斯文本分類性能的一個重要方法。特征選擇是降維的一個重要途徑，因此本文著重研究和分析了幾個不同的特征選擇方法。由