基于互信息的統計語言模型數據平滑算法.pdf

1、自然語言處理是計算機科學中一個引人入勝、富有挑戰(zhàn)性的課題。它的任務是建立一種能夠模擬人類語言認知過程的計算模型。但是當前計算機的智能水平還遠遠不能與人類相提并論，困擾其發(fā)展的原因有很多，統計語言模型中數據稀疏的問題則是自然語言處理領域必須解決的幾個難題之一。本論文主要針對目前正得到廣泛推廣與應用的統計語言模型，研究了建立模型的各種方法以及相關的平滑技術，提出了能滿足概率歸一性的建立模型的方法以及結合互信息、熵和非線性優(yōu)化等理論的基于互信

2、息的統計語言模型平滑算法。論文的主要工作如下：
　　 首先本文介紹了統計語言模型中常用的概率論和信息論方面的相關知識，然后詳細地介紹了現有的幾類統計語言模型的平滑算法。
　　 其次，論文研究了統計語言模型的建立。通過分析一元、二元及三元模型的建立，給出了滿足概率歸一性的建立方法。為保證建立模型的有效性和方便使用語言工具包，給出了在模型建立前，對初始語料庫必要的預處理過程。還介紹了一些語言模型工具包，以及如何借助語言模型工

3、具包建立語言模型的過程。
　　 同時，本文還提出了一種新的基于互信息的統計語言模型平滑技術。從互信息的角度考慮，分析詞之間的搭配關系，對已有事件頻率的分布做出合理的調整。其基本思想是：根據模型中每個二元對的互信息的高低對其概率進行不同程度的折扣，對模型中未出現事件的概率值的獲得則回退到低階模型。進一步，利用非線性系統理論，依據極小化困惑度方法，確定平滑公式中的系數值，從理論上保證了此平滑技術的優(yōu)越性。還根據語言學的知識，在分析二