概率潛在語義分析及其應(yīng)用.pdf

1、信息檢索的很多應(yīng)用都需要探究隱藏在字、詞背后的涵義，簡單的字面匹配由于廣泛存在的同義詞多義詞現(xiàn)象，往往得不到能夠和查詢在含義上精確匹配的檢索結(jié)果。概率潛在語義分析(即PLSA，Probabilistic Latent SemanticAnalysis)通過概率的形式建立了將隱含變量與共現(xiàn)數(shù)據(jù)對(如詞匯與文檔)聯(lián)系起來的模型，使用統(tǒng)計(jì)的方法建立了“文檔-潛在語義-詞語”三者之間概率分布關(guān)系，并利用這種概率進(jìn)行基于統(tǒng)計(jì)的語義分析，從中得到同

2、一個(gè)主題下不同詞的分布參數(shù)以及同一篇文檔下不同主題的分布參數(shù)，從而能夠從語義的層面上而不再是以往的單純的字面意義上去表達(dá)和理解文檔。在語義空間上，能夠?qū)ξ臋n做出更精準(zhǔn)的匹配，排序，相關(guān)性查詢等操作。本文主要研究概率潛在語義分析的稀疏表達(dá)框架以及并行化擴(kuò)展，主要貢獻(xiàn)有：
　　 ●提出了一種在PLSA框架下高效地引入稀疏表達(dá)的方法，通過添加稀疏度控制在兩個(gè)模型參數(shù)上以解決傳統(tǒng)的PLSA存在的過擬合以及無法提取局部特征的問題。本文實(shí)驗(yàn)

3、證實(shí)本文所述方法在準(zhǔn)確度上超越了已有的PLSA算法，并且在性能有杰出表現(xiàn)。
　　 ●提出了在分布式處理框架下高效地訓(xùn)練PLSA模型的方法，分別設(shè)計(jì)實(shí)現(xiàn)了基于多核處理器的多線程PLSA算法，以及基于Hadoop和基于MPI的的并行化PLSA算法，討論了在實(shí)際應(yīng)用中的具體細(xì)節(jié)和問題，最后在集群上進(jìn)行了實(shí)驗(yàn)和性能評估。
　　 ●探索嘗試了將PLSA用于個(gè)性化RSS文章排序的方法，通過記錄用戶閱讀
　　 文章所消耗的時(shí)間