基于共現(xiàn)詞的改進LSA模型及主題詞抽取方法研究.pdf

1、信息主題的抽取是快速定位用戶需求的基礎(chǔ)性任務(wù)，本文主要研究了文本主題詞的抽取算法。詞匯的權(quán)重計算是主題詞抽取需要解決的最基礎(chǔ)、最關(guān)鍵的問題，本文計算詞匯權(quán)重時通過互信息構(gòu)建共現(xiàn)詞對，然后與詞頻、詞性、詞位置信息非線性組合，得到文檔-共現(xiàn)詞矩陣。借助潛在語義分析（Latent Semantic Analysis，LSA）模型中的奇異值分解（Singular Value Decomposition，SVD）后求得潛在語義空間的文檔相似矩陣，

2、經(jīng)k-means聚類后選出互信息值最大的前幾對共現(xiàn)詞，作為該類文章的主題詞。本文主要的研究內(nèi)容和創(chuàng)新點如下。
　　在詞語信息量計算方面，傳統(tǒng)TF-IDF(Term Frequency–Inverse Document Frequency)算法忽略了詞性、詞位置、詞長度等詞特性，這樣的詞權(quán)重并不能精確衡量詞語對于文本的貢獻度。所以本文首先考慮詞性，在大量語料庫的統(tǒng)計中發(fā)現(xiàn)名詞、動詞、形容詞、副詞四大主要詞性，各自的百分比依次為61.

3、98％、29.29%、3.82%、5.01%。基于這個比例改進傳統(tǒng)的TF-IDF算法，這就是本文中提出的POS_TF-IDF算法，即基于詞性的TF-IDF算法。
　　BOW(Bag of Words)模型忽略了詞語之間的相關(guān)性，為了彌補這個缺陷，本文提出將共現(xiàn)詞考慮在內(nèi)的詞權(quán)重計算方法。本文中共現(xiàn)詞的相關(guān)性貢獻度用信息論的互信息計算，并論證了互信息計算共現(xiàn)詞的正確性和合理性。此外選取文本段落作為窗口大小，共現(xiàn)詞對出現(xiàn)在段落首句、尾

4、句、中間句不同位置時，對應(yīng)權(quán)重各不相同。本文綜合考慮詞性、共現(xiàn)詞、詞位置因素，提出COVSM模型。該模型中詞權(quán)重的計算既彌補了傳統(tǒng)TF-IDF算法孤立計算詞信息的不足，又添加了詞性影響因素。
　　本文選取LSA模型抽取主題詞，LSA模型的關(guān)鍵是SVD，本文講解了SVD分解的數(shù)學(xué)理論，并論證了在文本分析中的物理意義，說明了文檔相關(guān)性的左奇異矩陣和詞匯相關(guān)性的右奇異矩陣。本文最后采用 k-means算法對文檔相關(guān)性矩陣聚類后，在同類文