基于語義簇構(gòu)建隱馬爾可夫模型的文本分類方法研究.pdf

1、文本分類作為文本挖掘領(lǐng)域中一個非常重要的研究方向，對文本數(shù)據(jù)的組織、管理和處理具有重要意義，在信息檢索、數(shù)字圖書館、搜索引擎、文本信息過濾等領(lǐng)域有著廣泛的應(yīng)用。雖然文本分類的研究已經(jīng)取得不小的進展，但目前為止仍有一些尚待解決的問題，例如，相關(guān)特征詞的信息度量，分類器的增量更新和在線更新，以及分類器性能隨類別數(shù)增加而降低等問題。本文圍繞上述問題展開研究，提出了一種基于語義簇構(gòu)建隱馬爾可夫模型的文本自動分類方法，主要工作和創(chuàng)新點包括以下幾個

2、方面:
　　 (1)特征詞分類信息的度量
　　 在對比了幾種已有的特征詞分類信息的度量方法后，借鑒TF-IDF權(quán)重，對公式進行了調(diào)整，使之可以針對特征詞的不同類別度量分類信息的權(quán)重，然后利用不同分類信息權(quán)重將特征詞進行向量表示，實驗表明特征詞向量可以很好的表達特征詞的分類信息。
　　 (2)提出建立層次語義簇模型的方法
　　 利用層次聚類方法對特征詞向量進行聚類，所得層次語義簇簇內(nèi)相似度大，簇內(nèi)特征詞分類

3、信息相近，能夠表征這一類具有相似分類特性的特征詞。通過層次語義簇模型提出一種將文本序列化表示方法，文本序列表現(xiàn)出狀態(tài)轉(zhuǎn)移的特性。然后考察了聚類迭代截止閾值的確定問題和特征詞間相似度計算量過大的問題，并給出相應(yīng)解決方案。實驗表明語義簇模型能夠達到降維和突出分類信息的目的。
　　 (3)文本分類器結(jié)構(gòu)設(shè)計
　　 針對訓練集類別建立相互獨立的隱馬爾可夫模型，并據(jù)此提出了一種文本分類器結(jié)構(gòu)，分類器中文本模型互不耦合，文本模型與分