基于隱馬爾科夫模型詞性標注的研究.pdf

1、計算機技術發(fā)展給人們生活帶來了革命性的改變，人們希望能夠和計算機更加有效地溝通，因此，自然語言處理技術應運而生。詞性標注作為自然語言處理中一個重要的基礎性研究課題，具有深刻的意義和廣泛的應用。在自然語言處理系統(tǒng)中它通常是作為預處理程序，所以標注的準確性對于后續(xù)工作甚至是整個系統(tǒng)都至關重要。因此詞性標注必須為后續(xù)自然語言處理過程提供高準確率的中間結果。
　　 詞性作為詞匯最重要的屬性，是將詞匯連接到句法的主要紐帶，它能夠提供大量有

2、關詞匯及其上下文的重要信息。同時也能夠提供有關單詞發(fā)音的信息，這在語音識別的語言模型中是非常有用的。進行過詞性標注的文本是自然語言處理最基本的訓練語料，如果沒有這樣語料庫的建立，自然語言處理也只能是空談。
　　 目前，詞性標注的研究已經(jīng)基本趨于成熟，主要的標注方法有:基于規(guī)則的詞性標注方法、基于統(tǒng)計的詞性標注方法、規(guī)則和統(tǒng)計相結合的方法以及基于轉換的錯誤驅動方法。詞性標注的應用也越來越廣泛，主要應用于:機器翻譯、自動摘要、文本分

3、類、文本校對、語音識別、語音合成、語料庫加工、信息檢索等領域。
　　 本文主要從以下三個方面對詞性標注的準確率進行了提高。首先，在傳統(tǒng)隱馬爾科夫模型的基礎上進行了改進，實現(xiàn)了二階隱馬爾科夫模型，使模型能夠更好地結合上下文信息，從而提高標注的準確率。其次，由于目前各類平滑算法還缺乏深入的研究及性能分析，因此最佳平滑算法的選取也是一個難題。這里對決定平滑算法效果的因素和它們在哪種情況下效果最好做了說明。并選擇最適用于現(xiàn)有模型和訓練語

4、料庫規(guī)模的平滑算法來對數(shù)據(jù)進行處理。最后，針對詞性標注中生詞處理算法難以結合到統(tǒng)計模型中的問題，特采用通過求詞匯發(fā)射概率來對生詞問題進行處理的方法，并提出一種針對專業(yè)領域文獻中高頻生詞處理的方法。本文使用JAVA在Eclipse開發(fā)平臺上實現(xiàn)了隱馬爾科夫模型模型和本文所提到的改進方法，在英語和漢語兩種語料庫中進行了測試。實驗表明，通過使用二階隱馬爾科夫模型，加入平滑算法以及生詞處理算法之后進行詞性標注，能夠獲得更加理想的詞性標注效果。同