基于圖模型的Web文檔分類方法研究.pdf

1、目前，一些比較成熟的文本分類算法已經(jīng)被應(yīng)用到了文本分類中，但它們大都是基于向量空間模型(Vector Space Model)的。向量空間模型(Vector Space Model)將每篇文章的處理轉(zhuǎn)化為高維向量空間的向量計(jì)算，每一個(gè)分量表示一個(gè)詞元權(quán)重，也就是把每篇文章的處理轉(zhuǎn)化為了向量的計(jì)算。這種方法降低了文檔處理的計(jì)算復(fù)雜度，提高了處理速度。但向量空間模型把文檔看成詞的集合，假設(shè)詞與詞之間是獨(dú)立的，這樣就損失了大量的文本結(jié)構(gòu)信息，

2、而在自然語言中，詞與詞之間往往是相互關(guān)聯(lián)的，所以文章的上下文之間的聯(lián)系也是非常重要的。為了解決這個(gè)問題，一些國(guó)內(nèi)外學(xué)者提出了基于圖模型的文本表示方法。
　　 為了實(shí)現(xiàn)圖模型下的文本分類，本文對(duì)選用的語料庫進(jìn)行了預(yù)處理工作；分析了現(xiàn)有的特征選擇算法，選擇了開方檢驗(yàn)的方法對(duì)文本進(jìn)行了特征選擇；針對(duì)現(xiàn)有的計(jì)算權(quán)值的方法進(jìn)行了改進(jìn)，找到了一種適合圖模型下文本分類的權(quán)值計(jì)算方法；根據(jù)圖模型的定義，建立了文本的圖模型；并找出一種計(jì)算相似系數(shù)

3、的方法對(duì)文本進(jìn)行了分類，完成了整個(gè)圖模型文本分類的整個(gè)過程。
　　 本文從文本的預(yù)處理、特征選擇、圖模型的建立、圖模型的相似系數(shù)的計(jì)算等幾個(gè)文本分類的重要環(huán)節(jié)，設(shè)計(jì)出了自己的算法，給出了一種圖模型中計(jì)算權(quán)值的具體方法，建立了有權(quán)無向圖，并對(duì)這些算法進(jìn)行了實(shí)現(xiàn)。選用了Sougou語料庫的3個(gè)類別：c8財(cái)經(jīng)類、c10 IT類和c13健康類進(jìn)行實(shí)驗(yàn)，分析了準(zhǔn)確率(P)、召回率(R)和F1值這些評(píng)價(jià)文本分類算法的結(jié)果，并得出結(jié)論，證明了