詞聚類用于文本分類的方法研究.pdf

1、短文本分類問題是基于短文本應用領域的必須解決的具有挑戰(zhàn)性的基礎性關鍵問題之一。由于短文本具有長度短、所描述概念信號弱的固有缺陷,短文本分類的可行途徑是利用外部資源中的可用信息來擴展短文本所描述的概念。
　　 通過詞聚類方法可以建立詞語對之間的語義關系,進而用來擴展短文本所描述的概念,因此它是用于改善文本分類、特別是短文本分類的有效手段之一。詞聚類用于短文本分類時存在兩個必須解決的問題:
　　 (1)在語料類別不平衡時,如

2、何有效地在分類過程中利用詞聚類技術?這需要開發(fā)一種考慮語料類別不平衡條件下的特征選擇方法,從而使詞聚類技術能夠較好的用于文本分類。
　　 (2)在短文本中,低頻詞語所占比例較大,在詞聚類技術中所采用的常規(guī)相似度計算方法無效。這需要研究一種適合于短文本分類的低頻詞語相似度計算方法。
　　 對第一個問題,本文提出一種中文文本分類的兩步特征選擇方法,首先根據詞語的類間分布進行區(qū)分詞的定義,選出區(qū)分度較大的詞作為某一類別的核心特

3、征,然后用傳統(tǒng)的特征選擇方法從每個類別的核心特征中選出最佳特征子集,最后將各個特征子集合并起來作為結果。該方法不僅重點選出類別區(qū)分能力較強的特征,還盡可能保留傳統(tǒng)特征選擇方法選出的優(yōu)秀特征,從而更好地捕獲了分類信息。實驗結果證明該方法明顯優(yōu)于傳統(tǒng)的特征選擇方法。
　　 對第二個問題,本文提出了一種低頻詞語相似度計算的方法。該方法利用語義資源《知網》和基于Internet的構造語料進行相似度計算:對那些能夠在《知網》中查到的詞對,