基于TAN的文本分類方法研究.pdf

1、隨著信息技術(shù)的發(fā)展，特別是Internet的應(yīng)用和普及，文本信息迅速膨脹，使得文本自動(dòng)分類技術(shù)成為信息技術(shù)領(lǐng)域的一個(gè)重要研究方向。貝葉斯方法具有簡(jiǎn)單、直觀、性能穩(wěn)定的優(yōu)點(diǎn)，但目前基于貝葉斯模型的文本分類還主要局限于樸素貝葉斯方法。樸素貝葉斯由于基于一個(gè)條件獨(dú)立性假設(shè)，無(wú)法表達(dá)屬性間的依賴關(guān)系而影響了分類性能，貝葉斯網(wǎng)絡(luò)雖然能表示這種依賴，但由于學(xué)習(xí)的復(fù)雜性而無(wú)法應(yīng)用于文本分類。TAN（Tree-Augmented Naive Bayes

2、）模型將貝葉斯網(wǎng)絡(luò)表示依賴關(guān)系的能力與樸素貝葉斯的簡(jiǎn)易性相結(jié)合，體現(xiàn)了學(xué)習(xí)的效率與準(zhǔn)確地描述屬性之間相關(guān)性的一種適當(dāng)折衷。目前基于TAN文本分類的研究還比較少，而且在已有的TAN文本分類模型中也存在著許多不足，為此，本文對(duì)基于TAN的文本分類模型進(jìn)行研究。 一方面，本文對(duì)當(dāng)前的TAN文本分類模型BL-TAN進(jìn)行了深入地分析，指出該模型中存在的三個(gè)問(wèn)題：未考慮文本中未出現(xiàn)的特征；忽略了特征的詞頻信息；TAN模型構(gòu)造中閾值選取的問(wèn)題

3、。針對(duì)第一個(gè)問(wèn)題，本文結(jié)合樸素貝葉斯的多變量伯努利文本分類模型，提出了TAN文本分類的第一個(gè)改進(jìn)模型BNL-TAN，實(shí)驗(yàn)中驗(yàn)證BNL-TAN比BL-TAN具有更好的分類性能；針對(duì)第二個(gè)問(wèn)題，本文類比樸素貝葉斯的多項(xiàng)式模型，提出了TAN文本分類的第二個(gè)改進(jìn)模型MUL-TAN，實(shí)驗(yàn)中驗(yàn)證MUL-TAN的分類性能顯著優(yōu)于BNL-TAN；針對(duì)第三個(gè)問(wèn)題，本文借鑒傳統(tǒng)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)中搜索+評(píng)估的思想，采用在“固定結(jié)構(gòu)”上“順序搜索”的學(xué)習(xí)策略，提

4、出了完全拋棄閾值選取的TAN文本自動(dòng)分類框架ATAN，實(shí)驗(yàn)中驗(yàn)證ATAN可以取得與手動(dòng)選取最好閾值相當(dāng)?shù)姆诸愋阅堋?另一方面，本文對(duì)集成學(xué)習(xí)的框架和主要方法進(jìn)行了深入研究，并針對(duì)TAN進(jìn)行了TAN集成的三次嘗試，提出了基于TAN集成的三種模型，這三種模型均以TAN為基分類器，結(jié)論生成方法則統(tǒng)一采用投票方法，不同點(diǎn)在于個(gè)體分類器的生成策略。AdaM1-TAN將TAN與AdaBoost．M1算法結(jié)合，通過(guò)不斷調(diào)整訓(xùn)練集的權(quán)重分布學(xué)習(xí)