基于信息論的文本分類模型與算法研究.pdf

1、 隨著網(wǎng)絡(luò)上文本信息爆炸式的增長，文本分類已成為非常重要的研究方向。為了面對時(shí)代的挑戰(zhàn)，本文針對文本分類問題進(jìn)行了深入的研究，取得了一系列突破性進(jìn)展。 本文在研究了現(xiàn)有分類模型的基礎(chǔ)上，提出了文本分類的信息論模型。該模型以信息論為基礎(chǔ)，將文本所提供的關(guān)于各個(gè)不同類別的信息作為分類的依據(jù)。文本分類的信息論模型從另一個(gè)的角度來思考文本分類問題，具有一定的理論價(jià)值。同時(shí)，該模型統(tǒng)一了傳統(tǒng)的樸素貝葉斯法和基于KL距離的中心向量法兩

2、種不同的分類模型，為研究統(tǒng)一的分類算法奠定了基礎(chǔ)。而且，該模型在各種不同的語料庫上都表現(xiàn)出了非常高的分類性能。 根據(jù)文本分類信息論模型的基本思想，以互信息最大化原則為指導(dǎo)，本文提出了一種新的特征選擇算法和兩種特征聚類算法。并從實(shí)驗(yàn)上證實(shí)了該特征選擇算法優(yōu)于傳統(tǒng)的特征選擇算法。在保證分類準(zhǔn)確率降低不到2％的條件下，特征聚類算法可以將文本特征空間的維數(shù)降低2～3個(gè)數(shù)量級，大大降低了文本特征的數(shù)量。 為了進(jìn)一步推廣文本分類的信