漢語依存句法分析方法的研究與實現(xiàn).pdf

1、句法分析是自然語言處理研究中的關(guān)鍵技術(shù)之一,其任務是根據(jù)給定的語法,自動推導出句子的語法結(jié)構(gòu)。它對于機器翻譯、信息檢索、信息抽取、文本分類和自動文摘等自然語言處理系統(tǒng)都有著極其重要的意義。
　　 句法分析是依賴于某種語法理論的,在形式語法體系中,依存語法逐漸成為研究人員重視的熱點。依存句法分析技術(shù)也不斷得到發(fā)展和完善,并在英語等印歐語言中取得較好的研究成果。但目前為止針對漢語在依存句法分析方面的相關(guān)研究并不多見,漢語的依存分析研

2、究成果與比印歐語言遜色得多。為此,本文采用基于統(tǒng)計理論的學習方法,針對漢語特有的語法特點,對漢語的依存句法分析方法進行了研究和探索。本文主要采用決策式的依存句法分析方法,解決了漢語句法分析中存在的一些問題。本文工作的主要貢獻和創(chuàng)新點如下:
　　 1.提出并實現(xiàn)了一種針對漢語長句的決策式分析方法CLDP。該方法針對漢語復雜長句句法分析存在的困難,考慮一種“分而治之”的處理策略,采用分層分析的方法,把復雜的句法分析問題分解為幾個易于

3、處理的子問題,以降低分析難度,提高分析效率。本文提出并實現(xiàn)了非貪婪的考慮長距離依存的決策式漢語分析方法N-CLDP。該方法利用漢語句子中根的唯一性對長句進行了分割。實現(xiàn)時,利用機器學習方法SVM設(shè)計了一種高效的根搜索器Root-Searcher,該根搜索器Root-Searcher可以標記出每個句子的根結(jié)點,依據(jù)根結(jié)點,句子被分割成兩個子句。對子句分別進行依存分析后,進行子句的連接。把兩個子句的根結(jié)點合二為一,合并兩個子依存結(jié)構(gòu),從而得

4、到長句的完整的依存結(jié)構(gòu)。實驗數(shù)據(jù)表明,本文構(gòu)造的根搜索器Root-Searcher具有較高的準確性。在長句占的比例較大的訓練集和測試集上,本文的方法達到了較好的分析性能,有效降低了句子的復雜度,顯著地提高了句法分析器的準確率。
　　 2.提出并實現(xiàn)了一種基于二段式的子句依存分析方法TSP。本文針對決策式依存分析中存在的Early-reduce問題,設(shè)計并實現(xiàn)了二段式的子句依存分析方法。該方法采用了有效的特征組合,利用二段分析,特

5、征復用等手段有效解決了漢語右依存中動詞與動詞之間,以及動詞與介詞之間的VP Early-reduce問題,并且降低了算法的貪婪性。另外,本文提出并實現(xiàn)了子句的雙向分析策略BSP。根據(jù)分割后句子的特點,以及漢語語言所具有的投影性特征,提出了采用向前分析和向后分析相結(jié)合的策略。在分析時將從前向后與從后向前兩種分析方向結(jié)合使用。實驗中將二段式句法分析策略與一次分析進行了性能比較,并考察了句法分析方向?qū)τ诜治鼋Y(jié)果的影響。實驗結(jié)果表明本文的二段式

6、的子句依存分析方法TSP提高了句法分析器的性能。子句的雙向分析策略BSP也比單向分析獲得了更好的分析效率。
　　 3.提出并實現(xiàn)了一種基于介詞短語右邊界的自動識別的依存句法分析算法RPP。根據(jù)介詞短語的語用特征,提出一種對介詞短語的后續(xù)詞進行分析的方法,相應得到介詞短語右邊界的識別方法。通對過介詞短語的分析,有效解決了決策式分析方法在分析介詞短語時存在的缺陷。避免了分析介詞在長距離依存時,由于過早比較、提前決策依存關(guān)系出現(xiàn)的錯誤