基于互信息的統(tǒng)計語言模型數(shù)據(jù)平滑算法.pdf

1、自然語言處理是計算機科學中一個引人入勝、富有挑戰(zhàn)性的課題。它的任務是建立一種能夠模擬人類語言認知過程的計算模型。但是當前計算機的智能水平還遠遠不能與人類相提并論，困擾其發(fā)展的原因有很多，統(tǒng)計語言模型中數(shù)據(jù)稀疏的問題則是自然語言處理領(lǐng)域必須解決的幾個難題之一。本論文主要針對目前正得到廣泛推廣與應用的統(tǒng)計語言模型，研究了建立模型的各種方法以及相關(guān)的平滑技術(shù)，提出了能滿足概率歸一性的建立模型的方法以及結(jié)合互信息、熵和非線性優(yōu)化等理論的基于互信

2、息的統(tǒng)計語言模型平滑算法。論文的主要工作如下：
　　 首先本文介紹了統(tǒng)計語言模型中常用的概率論和信息論方面的相關(guān)知識，然后詳細地介紹了現(xiàn)有的幾類統(tǒng)計語言模型的平滑算法。
　　 其次，論文研究了統(tǒng)計語言模型的建立。通過分析一元、二元及三元模型的建立，給出了滿足概率歸一性的建立方法。為保證建立模型的有效性和方便使用語言工具包，給出了在模型建立前，對初始語料庫必要的預處理過程。還介紹了一些語言模型工具包，以及如何借助語言模型工

3、具包建立語言模型的過程。
　　 同時，本文還提出了一種新的基于互信息的統(tǒng)計語言模型平滑技術(shù)。從互信息的角度考慮，分析詞之間的搭配關(guān)系，對已有事件頻率的分布做出合理的調(diào)整。其基本思想是：根據(jù)模型中每個二元對的互信息的高低對其概率進行不同程度的折扣，對模型中未出現(xiàn)事件的概率值的獲得則回退到低階模型。進一步，利用非線性系統(tǒng)理論，依據(jù)極小化困惑度方法，確定平滑公式中的系數(shù)值，從理論上保證了此平滑技術(shù)的優(yōu)越性。還根據(jù)語言學的知識，在分析二