基于統(tǒng)計(jì)方法的漢語依存句法分析研究.pdf

1、句法分析的任務(wù)是根據(jù)給定的語法，自動推導(dǎo)出句子的語法結(jié)構(gòu)。句法分析性能的提高將對信息檢索、信息抽取以及機(jī)器翻譯等應(yīng)用產(chǎn)生重要的推動作用。
　　在句法分析的研究中，依存語法以其形式簡潔、易于標(biāo)注、便于應(yīng)用等優(yōu)點(diǎn)，逐漸受到研究人員的重視。目前，已經(jīng)被自然語言處理領(lǐng)域的許多專家和學(xué)者所采用，應(yīng)用于多種語言之中。但由于語料資源以及技術(shù)等原因，漢語在依存句法分析方面的相關(guān)研究并不多。為了彌補(bǔ)這方面的不足，本文使用基于語料庫的統(tǒng)計(jì)學(xué)習(xí)方法，對

2、漢語的依存句法分析技術(shù)進(jìn)行了探索。
　　首先，實(shí)現(xiàn)了一個(gè)包含分詞和詞性標(biāo)注的詞法分析系統(tǒng)，并增加了動詞子類標(biāo)注的功能。區(qū)分動詞的語法屬性是為了減少由動詞引起的語法歧義，降低句法結(jié)構(gòu)的復(fù)雜度。本文首先制定了一個(gè)動詞細(xì)分類體系，將動詞分為8個(gè)子類，然后使用最大熵的方法對動詞進(jìn)行子類標(biāo)注，用以改善句法分析的性能。
　　其次，進(jìn)行了短語分析的工作。名詞復(fù)合短語是各種語言中的普遍存在的一種語法結(jié)構(gòu)，對信息抽取、機(jī)器翻譯等應(yīng)用有很大的影

3、響。由于傳統(tǒng)的句法分析對此類結(jié)構(gòu)的處理不夠理想，本文對名詞復(fù)合短語進(jìn)行專門處理，以降低句法分析的難度。針對漢語名詞復(fù)合短語的特點(diǎn)，本文提出一種基于隱馬爾科夫樹模型的名詞復(fù)合短語分析方法，較好地解決了此類短語對句法分析的影響。
　　另外，句法分析對句子的長度非常敏感，隨著長度的增加，句法分析的效率以及準(zhǔn)確率均會受到嚴(yán)重的影響。為了減少句子長度的影響，本文對句子片段進(jìn)行識別。先將句子劃分為多個(gè)片段，并使用基于支持向量機(jī)的方法對每個(gè)片段

4、類型進(jìn)行識別；然后對片段進(jìn)行依存分析，再識別出各片段之間的依存關(guān)系，最后將各個(gè)片段組合為一個(gè)完整的分析樹。
　　在以上三種技術(shù)基礎(chǔ)之上，根據(jù)漢語的特點(diǎn)，本文探索了一個(gè)高效的漢語依存句法分析算法。針對漢語語法結(jié)構(gòu)靈活、樹庫資源不是非常充分的情況，本文使用分治策略對句子中的一些特定語法結(jié)構(gòu)進(jìn)行預(yù)處理。在搜索算法上，使用動態(tài)局部優(yōu)化的確定性分析算法對句子進(jìn)行解碼，提高了搜索的效率。
　　為了檢驗(yàn)漢語依存句法分析方法的擴(kuò)展性，并探索

5、單語依存分析同多語依存分析的不同之處，本文最后實(shí)現(xiàn)了一個(gè)基于分步策略的多語依存分析系統(tǒng)，并在CoNLL2006的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。通過對實(shí)驗(yàn)結(jié)果的分析以及同評測結(jié)果的比較，驗(yàn)證了本文方法的有效性。
　　本文前面的詞法分析、短語分析、句子片段識別三部分工作是為句法分析服務(wù)的，每部分工作在不同層面上解決了漢語依存分析中的難點(diǎn)問題，對句法分析工作做了有力的支撐。后面的兩部分工作分別在漢語和多語方面對依存句法分析做了理論和技術(shù)上的探索。