基于LDA主題模型的TFIDF算法改進及應(yīng)用.pdf

1、話題發(fā)現(xiàn)中常用的VSM向量空間模型將語言學(xué)的文本內(nèi)容轉(zhuǎn)化為數(shù)學(xué)上的空間向量坐標(biāo)，進而把抽象的文本間相似性問題轉(zhuǎn)換為空間向量坐標(biāo)間的距離問題，直觀且易于理解，但存在的問題是:語義缺失，即忽視了文本中包含的語義信息。
　　本文考慮改進VSM模型中權(quán)值算法TFIDF，通過引入LDA主題模型的主題概念來增加特征詞權(quán)重的主旨語義信息，以期達到對文本的空間向量坐標(biāo)增加語義信息（因為坐標(biāo)值即是權(quán)重值）。算法的改進策略分為兩種:首先，通過構(gòu)建LD

2、A模型，得出概率分布函數(shù)θ和（ψ)值，計算出語義影響力SI，提出SI-TFIDF算法;其次，主題-詞的概率分布（ψ)值中，判定最大的前1/K的（ψ)值對應(yīng)的特征詞屬于該主題，用以計算主題分布頻率TDF即:語義分布，提出了TFIDF-TDF算法。實驗采用sougou實驗室的精簡版數(shù)據(jù)，實驗結(jié)果顯示:兩種改進的算法提取的特征詞用在文本聚類上F值都有明顯的提升，SI-TFIDF算法的提升效果穩(wěn)定，而TFIDF-TDF算法在文本主題數(shù)較多時聚類