基于無短語標記樹庫的句法分析方法的研究.pdf

1、句法分析是自然語言處理領域的關鍵技術之一，在自然語言處理中具有十分重要的地位，它在機器翻譯、信息檢索、語音識別等研究中都有重要應用。在機器翻譯的一些應用中，只需要句法邊界信息而不需要短語標記信息。主流的句法分析方法都是既產生句法邊界又產生短語標記，并且在分析過程中需要利用短語標記信息。
　　本文的目標是得到句法邊界信息，并不需要短語標記信息，因此本文主要研究能否不利用短語標記信息而直接利用詞和詞性信息得到句法邊界的問題。僅僅利用詞

2、和詞性的邊界分析相當于基于無短語標記樹庫的句法分析。
　　句法樹中的短語可以分為一元短語和非一元短語。由于一元短語在樹庫中的比例比較小，并且將一元短語邊界分析和非一元短語邊界分析分開，有助于減少兩個階段的歧義性，因此本文首先進行非一元短語邊界分析，然后在非一元短語邊界分析結果的基礎上進行一元短語邊界分析。
　　本文提出了兩種可行的非一元短語邊界分析方法，一種是基于層次分析的邊界分析方法，另一種是基于移進歸約的邊界分析方法。基

3、于層次的邊界分析方法將邊界分析問題轉化為層次組塊分析問題，自底向上按層進行分析，該種方法在英語標準測試集上的F-測度接近85％?；谝七M歸約的邊界分析方法分為兩個階段，首先進行基本短語邊界分析，然后進行嵌套短語邊界分析，基本短語邊界分析采用組塊分析的方法，嵌套短語邊界分析采用移進歸約的方法，該方法在英語標準測試集上的F-測度接近88%。這兩種方法在分析過程中都沒有利用短語標記信息，分析結果也都沒有產生短語標記。
　　本文最后在基于

4、移進歸約的邊界分析方法基礎上進行了一元短語邊界預測，將一元短語邊界預測問題轉化為預測由非一元短語邊界預測結果形成的句法樹中每個節(jié)點需要派生的一元規(guī)則個數(shù)的問題，并提出了一個層次分析模型來進行個數(shù)預測，實驗結果表明該方法能有效的預測一元短語邊界。
　　通過基于移進歸約的非一元短語邊界分析和一元短語邊界分析兩個過程，本文得到了一個完整的邊界分析器，其邊界分析性能已經與斯坦福句法分析器（Stanford Parser）相當。本文的工作證