基于香農(nóng)熵和互信息的主題優(yōu)化方法的研究.pdf

1、大數(shù)據(jù)時代的到來使得信息過載的問題日趨嚴重，研究人員一直致力于研究如何從大量數(shù)據(jù)中提取有效的信息。主題模型旨在從數(shù)據(jù)量巨大的離散文本中提取潛在的低維度的主題，能夠很好地解決信息過載的問題。然而隨著待處理語料集逐漸增大，主題模型訓練生成的主題數(shù)目也越來越多，其中包含語義不顯著的噪聲主題，如何有效剔除有干擾的噪聲主題這一問題逐漸得到研究者的重視。
　　本文針對提高主題質(zhì)量的問題，研究主題的優(yōu)化方法以及一系列主題調(diào)優(yōu)策略，將特征選擇方法

2、中的香農(nóng)熵與互信息理論應用到文本語料的層面，用來衡量主題詞的質(zhì)量，剔除主題中不具備顯著含義的背景詞，同時對生成的主題進行分析研究，實現(xiàn)主題調(diào)優(yōu)。文章主要從以下兩個環(huán)節(jié)展開工作:
　　主題詞層面的優(yōu)化。主題中詞的優(yōu)劣直接影響主題的可解讀性，剔除主題中的背景詞可保證主題的質(zhì)量進而利于下游訓練。本文基于已有標簽文本集，采用香農(nóng)熵和互信息方法作用于語料庫，通過統(tǒng)計詞的信息特征來剔除背景詞，并應用于分類任務。
　　主題層面的優(yōu)化。剔除

3、某些不含顯著語義的噪聲主題以提高主題的質(zhì)量。在優(yōu)化主題詞的基礎上，本文針對主題模型訓練生成的主題，利用香農(nóng)熵和互信息的思想，考查文檔的主題特征以及主題和類別的關系，衡量主題優(yōu)劣，以此甄別噪聲主題，并將調(diào)優(yōu)后的主題應用于文本分類任務。
　　本文應用香農(nóng)熵和互信息分別對主題中噪聲詞匯和噪聲主題進行剔除工作，在最大程度上保留主題的語義特征的同時完成對主題詞空間和主題空間的雙重優(yōu)化，并通過文本分類實驗，對優(yōu)化之后的主題模型的質(zhì)量進行了驗證