基于最大熵原理的漢語詞義消歧與標(biāo)注語言模型研究.pdf

1、詞義消歧一直是計(jì)算語言學(xué)領(lǐng)域的一個(gè)重要研究課題，對(duì)機(jī)器翻譯、信息檢索、內(nèi)容和主題分析、文本分類、語音識(shí)別等領(lǐng)域有著重要的影響，可以幫助解決語言信息處理中的一系列理論和實(shí)踐難題。 最大熵模型是一種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)模型，提供了一種分類的方法，成功地運(yùn)用在自然語言處理的許多領(lǐng)域，并得到了較好的結(jié)果。 本文以北京大學(xué)計(jì)算語言學(xué)研究所開發(fā)的較大規(guī)模人民日?qǐng)?bào)詞義標(biāo)注語料為基礎(chǔ)，從以下幾個(gè)方面進(jìn)行了研究： 論述了多義詞上下文

2、包含的各種特征信息如顯性信息、半顯性信息、隱性信息以及如何提取這些信息。 結(jié)合《現(xiàn)代漢語語法信息詞典》、《現(xiàn)代漢語語義詞典》和知網(wǎng)等資源，探討了多知識(shí)源的知識(shí)融合技術(shù)與方法，并在此基礎(chǔ)上，研究從融合知識(shí)源中獲取詞義消歧知識(shí)的技術(shù)以及構(gòu)建相應(yīng)的詞義消歧知識(shí)庫，解決因訓(xùn)練語料不足而導(dǎo)致知識(shí)匱乏或數(shù)據(jù)稀疏問題。 設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向漢語詞義自動(dòng)標(biāo)注研究的實(shí)驗(yàn)平臺(tái)，在該實(shí)驗(yàn)平臺(tái)中，在“基于歸納學(xué)習(xí)的統(tǒng)計(jì)與規(guī)則相結(jié)合的排歧模型”和