中文多詞表達(dá)抽取研究.pdf

1、多詞表達(dá)是指由兩個(gè)及以上具有一定的句法和語義關(guān)聯(lián)的詞語構(gòu)成的意義相對(duì)完整的語義單元。多詞表達(dá)問題是目前自然語言處理領(lǐng)域最棘手的問題之一，多詞表達(dá)會(huì)導(dǎo)致分詞和語義等方面的錯(cuò)誤增加，進(jìn)而影響機(jī)器翻譯和句法分析等實(shí)際應(yīng)用的性能。在中文多詞表達(dá)里，“動(dòng)詞+名詞”以及“名動(dòng)詞+名詞”的多詞表達(dá)最為常見，因此，本文主要以中文“動(dòng)詞+名詞”以及“名動(dòng)詞+名詞”的多詞表達(dá)為研究對(duì)象，包含多詞表達(dá)的自動(dòng)抽取和應(yīng)用。本文的研究的主要內(nèi)容有以下的幾個(gè)方面:<

2、br>　　1、基于雙語語料多詞表達(dá)候選的抽取。利用印歐語言的邊界來幫助確定漢語中完整語義單元的邊界。本文利用短語對(duì)齊工具對(duì)中英雙語句對(duì)齊語料進(jìn)行對(duì)齊處理，然后抽取多詞表達(dá)候選，并與基于詞對(duì)齊工具的方法進(jìn)行比較。本文對(duì)北大中英對(duì)齊語料進(jìn)行實(shí)驗(yàn)，基于短語對(duì)齊抽取的多詞表達(dá)候選F值為55.95％，基于詞對(duì)齊抽取的多詞表達(dá)候選F值為45.32％。
　　2、基于句法分析的多詞表達(dá)候選的抽取。由于句法分析能夠識(shí)別出句子的語法結(jié)構(gòu)，對(duì)語言的處理

3、可以深入語言的內(nèi)部結(jié)構(gòu)。本文利用三種句法分析器:哈工大句法分析器，伯克利句法分析器，斯坦福句法分析器分別對(duì)北大對(duì)齊語料的中文部分進(jìn)行句法分析，然后再抽取特定依存關(guān)系的詞語對(duì)作為多詞表達(dá)候選，正確率分別為哈工大42.40％，伯克利41.00％，斯坦福39.73％。
　　3、構(gòu)建中文“動(dòng)詞+名詞”以及“名動(dòng)詞+名詞”多詞表達(dá)分類數(shù)據(jù)集。構(gòu)建過程分兩步:統(tǒng)計(jì)過濾、多詞表達(dá)分類。基于統(tǒng)計(jì)的方法處理大規(guī)模語料時(shí)比較方便快捷，且不依賴具體領(lǐng)域

4、。本文采用內(nèi)部度量方法互信息，外部度量方法C-value等進(jìn)行多詞表達(dá)候選的過濾。多詞表達(dá)分類是將過濾后的多詞表達(dá)進(jìn)行分類:定中類和述賓類，來構(gòu)建分類數(shù)據(jù)集，這對(duì)以后的研究具有重要的意義。
　　4、句法分析結(jié)果糾錯(cuò)。將本文自動(dòng)抽取的中文多詞表達(dá)與句法分析結(jié)果進(jìn)行比較，進(jìn)行句法分析糾錯(cuò)。本文對(duì)哈工大句法分析器的分析結(jié)果與抽取的多詞表達(dá)進(jìn)行比較，結(jié)果發(fā)現(xiàn)哈工大的分析結(jié)果中出現(xiàn)本文抽取出的多詞表達(dá)的定中結(jié)構(gòu)正確率為98.87％，述賓結(jié)構(gòu)