一種改進的概率潛在語義分析下的文本聚類算法研究.pdf

1、自上世紀90年代，受互聯(lián)網(wǎng)技術(shù)和數(shù)據(jù)庫技術(shù)迅猛發(fā)展的影響，如何從海量的、以文本形式存在的數(shù)據(jù)中快捷地挖掘出所需信息業(yè)已成為當(dāng)前理論研究的熱點和難點。作為文本挖掘的重要分支，文本聚類技術(shù)對于互聯(lián)網(wǎng)輿情監(jiān)管、信息獲取、信息過濾等信息安全領(lǐng)域的研究意義非凡。
　　現(xiàn)行文本聚類算法多是基于“詞袋”模型，其“要表達的”語義意義與“被闡述的”詞法之間不滿足非雙射關(guān)系。PLSA模型是LSA模型的概率版演化，借助于堅實的數(shù)理基礎(chǔ)成功解決了上述問題

2、。但是，由于使用EM算法做最大似然估計，PLSA模型有時會出現(xiàn)過度擬合的現(xiàn)象；另外，PLSA模型參數(shù)的隨機初始化也造成了處理效果上的波動。
　　為彌補PLSA模型的上述兩個不足，本文首先對EM算法進行改進來處理PLSA的過度擬合問題；然后通過LSA模型參數(shù)概率化來初始PLSA模型的參數(shù)；最后，將改進后的模型運用到文本聚類上。在此過程中，主要工作研究如下：
　?、賹Ξ?dāng)前流行的聚類技術(shù)，尤其是向量空間模型，做了深入的研究。在分析

3、當(dāng)前聚類算法不足后，提出使用潛藏概念進行語義挖掘?qū)π畔⑻幚硌芯康闹匾饬x。
　?、诮Y(jié)合“詞袋”模型，在對LSA模型簡要介紹后，本文使用實例詳細分析了LSA模型是如何使用SVD分解來完成潛藏語義信息的挖掘的，然后對LSA模型的優(yōu)點和不足做了總結(jié)。
　?、坩槍LSA模型的過度擬合問題，對LSA模型和PLSA模型在算法基礎(chǔ)上進行了比較，依據(jù)算法原理通過對EM算法的改進來克服PLSA模型的過度擬合問題。
　?、茚槍LSA模

4、型參數(shù)隨機初始化的不足，文中使用LSA模型對PLSA模型進行了改進。首先詳細分析了LSA模型與PLSA模型的關(guān)系和區(qū)別，然后對LSA模型的參數(shù)進行概率化處理，最后將處理的結(jié)果用以初始化PLSA的模型，從而彌補由隨機初始化引起的不足。
　　最后，將改進后PLSA模型應(yīng)用文本聚類上，經(jīng)實驗求證后發(fā)現(xiàn)新算法更加真實的逼近真實語境，與經(jīng)典的PLSA模型相比照，本文提出的技術(shù)加速了實驗過程，并且在聚類準確度和互信息這兩個聚類效果評價指標(biāo)上都