基于LDA主題模型的TFIDF算法改進(jìn)及應(yīng)用.pdf

1、話題發(fā)現(xiàn)中常用的VSM向量空間模型將語(yǔ)言學(xué)的文本內(nèi)容轉(zhuǎn)化為數(shù)學(xué)上的空間向量坐標(biāo)，進(jìn)而把抽象的文本間相似性問題轉(zhuǎn)換為空間向量坐標(biāo)間的距離問題，直觀且易于理解，但存在的問題是:語(yǔ)義缺失，即忽視了文本中包含的語(yǔ)義信息。
　　本文考慮改進(jìn)VSM模型中權(quán)值算法TFIDF，通過引入LDA主題模型的主題概念來增加特征詞權(quán)重的主旨語(yǔ)義信息，以期達(dá)到對(duì)文本的空間向量坐標(biāo)增加語(yǔ)義信息（因?yàn)樽鴺?biāo)值即是權(quán)重值）。算法的改進(jìn)策略分為兩種:首先，通過構(gòu)建LD

2、A模型，得出概率分布函數(shù)θ和（ψ)值，計(jì)算出語(yǔ)義影響力SI，提出SI-TFIDF算法;其次，主題-詞的概率分布（ψ)值中，判定最大的前1/K的（ψ)值對(duì)應(yīng)的特征詞屬于該主題，用以計(jì)算主題分布頻率TDF即:語(yǔ)義分布，提出了TFIDF-TDF算法。實(shí)驗(yàn)采用sougou實(shí)驗(yàn)室的精簡(jiǎn)版數(shù)據(jù)，實(shí)驗(yàn)結(jié)果顯示:兩種改進(jìn)的算法提取的特征詞用在文本聚類上F值都有明顯的提升，SI-TFIDF算法的提升效果穩(wěn)定，而TFIDF-TDF算法在文本主題數(shù)較多時(shí)聚類