基于最大熵的漢語介詞短語自動識別.pdf

1、介詞短語是漢語中一種重要的短語類型。介詞短語識別可以縮小句子中心動詞的選擇范圍；可以簡化句子結構，降低后續(xù)句法分析的難度；在基于模板的翻譯中，它還能為模板匹配提供方便。 本文首先指出了當前完全語法分析的困難，而介詞短語識別和其他類型短語識別以及組塊分析是一種解決問題的途徑。并介紹了介詞短語識別的研究現(xiàn)狀以及技術路線，提出了漢語介詞短語識別的重要性和可行性。隨后在繼承了語言學家工作的基礎上，對漢語介詞短語的語義，語法，語用情況進行

2、了討論，提出了基于漢語介詞短語的分類體系，制定面向計算機的介詞短語的標注規(guī)范。在研究過程中，本文繼承了Church提出的把BaseNP識別看作詞性標注同構問題的思想，嘗試在淺層句法分析這個層級識別介詞短語。本文實現(xiàn)介詞短語識別的系統(tǒng)是基于最大熵的統(tǒng)計模型，最大熵模型具有簡潔、通用和可移植等特點，能夠靈活地選取特征，同時可以把計算模型和語言模型作為獨立地模塊處理，而不必關心語言內部的細節(jié)。特征集合的選取是最大熵模型的關鍵，它選取合適與否決

3、定了介詞短語識別結果的好壞。因此在本文中針對漢語介詞短語的劃分和識別，提出了詞、詞性標注是構成介詞短語識別的主要因素，并根據(jù)這幾種因素結合介詞短語的語用特征來確定最大熵模型的特征空間，從中自動獲取介詞短語識別的有效特征集合。 實驗表明，利用基于最大熵模型的方法來識別中文介詞短語是有效的：系統(tǒng)使用含有7000余個介詞短語的2000年人民日報語料的開放測試精確率達到89.1﹪。和當前同類文獻相比，本識別系統(tǒng)取得了比較好的識別結果。并