改進(jìn)貝葉斯模型在中文文本分類系統(tǒng)中的應(yīng)用.pdf

1、隨著Internet的迅猛發(fā)展，電子文本信息迅速膨脹，文本分類系統(tǒng)作為處理和組織電子文本信息的一項(xiàng)重要技術(shù)，成為信息處理領(lǐng)域不可或缺的工具。在我國信息化建設(shè)蓬勃發(fā)展的今天，開發(fā)適合中文的文本分類系統(tǒng)顯得尤為重要。目前常用的文本分類算法有以下幾種：貝葉斯、KNN、支持向量機(jī)、決策樹、粗糙集、神經(jīng)網(wǎng)絡(luò)等，其中貝葉斯算法以其良好的準(zhǔn)確性和較高的效率逐漸成為當(dāng)前文本分類技術(shù)的主流。 本文在介紹常用文本分類算法的基礎(chǔ)上，著重研究貝葉斯算法

2、及其相關(guān)模型，詳細(xì)介紹貝葉斯方法的二項(xiàng)式獨(dú)立模型、多項(xiàng)式模型及混和模型，并通過實(shí)驗(yàn)比較三種模型的分類性能。 然而貝葉斯分類算法具有一個(gè)嚴(yán)重的缺陷——數(shù)據(jù)稀疏問題，即如果一些特征屬性在訓(xùn)練語料的某個(gè)類中沒有出現(xiàn)，則在分類階段如果某待分類文檔含有這些特征屬性，那么不論別的特征屬性的條件概率有多高，都會(huì)導(dǎo)致該文檔屬于這個(gè)類的條件概率為零。雖然上述三種貝葉斯模型針對(duì)這一問題都作了簡(jiǎn)單處理，但依然存在很多問題。為了解決現(xiàn)有貝葉斯算法中處理

3、數(shù)據(jù)稀疏問題的缺陷，本文在討論統(tǒng)計(jì)語言模型中N-gram平滑技術(shù)的基礎(chǔ)上，考慮貝葉斯算法的獨(dú)立假設(shè)特性，提出采用Unigram平滑技術(shù)的三種不同方法來改進(jìn)貝葉斯分類器，分別為One-count平滑方法、Jelinek-Mercer 平滑方法以及Katz平滑方法。 最后，本文設(shè)計(jì)并實(shí)現(xiàn)了基于貝葉斯方法的中文文本分類系統(tǒng)，將三種平滑方法分別應(yīng)用于系統(tǒng)中的二項(xiàng)式、多項(xiàng)式和混合貝葉斯模型中，并通過實(shí)驗(yàn)與原始貝葉斯分類器進(jìn)行比較。實(shí)驗(yàn)表明