漢語詞和短語的歧義消解研究.pdf

1、信息網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使信息的發(fā)布和共享超越了時(shí)空限制，基于自然語言處理技術(shù)的文檔高質(zhì)量自動(dòng)處理成為熱點(diǎn)研究課題。自然語言中普遍存在著歧義現(xiàn)象。計(jì)算機(jī)處理自然語言文檔時(shí)，必然要面對(duì)和解決各種歧義問題。歧義消解成為自然語言處理中的核心任務(wù)之一。語言中的歧義錯(cuò)綜復(fù)雜，本文認(rèn)為，簡單的單一分析不可能認(rèn)識(shí)語言歧義的全貌，因而也就不可能高質(zhì)量地消解歧義，只有對(duì)歧義進(jìn)行多視角綜合考察，才能達(dá)到此目標(biāo)。為此，本文從縱橫兩個(gè)視角進(jìn)行歧義研究。

2、一、基于全信息理論的橫向視角：信息有語法、語義和語用三個(gè)層次，語言信息同樣如此。而每個(gè)層次都存在歧義，即有語法歧義，語義歧義和語用歧義。這個(gè)角度有助于從語言邏輯層面更清晰地研究歧義特征。 二、基于語言單元的縱向視角：漢語的主要語言單元包括詞、短語及句子等。而歧義在每一級(jí)單元都存在，即有詞匯層歧義、短語層歧義以及句子層歧義等?？v向角度便于研究的具體實(shí)現(xiàn)，并有可能探索通用的消歧方法。 綜合這兩個(gè)角度，本文研究的內(nèi)容包括，從語

3、法層看的詞匯邊界歧義和短語邊界歧義，從語義層看的詞匯多義歧義、短語功能歧義及短語結(jié)構(gòu)歧義。 在各種歧義的研究中，本文主要圍繞歧義分類、歧義偵測和歧義消解三個(gè)問題進(jìn)行。歧義分類研究各種歧義的特征，歧義偵測是為了發(fā)現(xiàn)歧義及確定歧義的位置，而基于歧義特點(diǎn)對(duì)偵測出的歧義進(jìn)行消解則是語言處理的中心任務(wù)。 從兩個(gè)視角出發(fā)，集中解決三個(gè)問題構(gòu)成了本文的研究框架。 本文的主要研究成果包括以下幾點(diǎn)： 1．對(duì)漢語語言信息自動(dòng)

4、處理時(shí)的歧義在特征上進(jìn)行了分類。將詞匯級(jí)語法歧義分為交疊歧義和包絡(luò)歧義兩大類。提出了新的歧義偵測和消歧方法； 2．利用級(jí)聯(lián)分類方法改進(jìn)了基于經(jīng)驗(yàn)定義的短語識(shí)別的性能，有效降低了學(xué)習(xí)器訓(xùn)練時(shí)間，進(jìn)一步從語義角度研究了復(fù)合名詞短語定界歧義問題，同時(shí)實(shí)現(xiàn)了跨語料的短語識(shí)別及歧義研究； 3．用粒度短語的觀點(diǎn)處理漢語短語定義模糊的問題，實(shí)現(xiàn)了粒度名詞短語的定義和識(shí)別方法； 4．從短語功能角度完成句子骨架成分的識(shí)別，消解短語