漢語語素構(gòu)詞知識庫的構(gòu)建及其在未登錄詞理解上的應(yīng)用.pdf

1、漢語的詞匯系統(tǒng)總是在不斷地發(fā)展和變化，因而未登錄詞的數(shù)量是無限的。但是語素作為漢語中詞語的構(gòu)詞成分，在數(shù)量上是有限的，且其表義功能是相對穩(wěn)定的。因此在自然語言處理中，可以把語素作為基礎(chǔ)資源，獲取語素構(gòu)詞的知識，用來識別和理解未登錄詞。然而，目前建立的語素構(gòu)詞知識庫大多只用于語素構(gòu)詞規(guī)律的統(tǒng)計，和未登錄詞的應(yīng)用研究之間存在脫節(jié)現(xiàn)象。
　　為了得到更有利于機器計算的語素構(gòu)詞知識，本文以《現(xiàn)代漢語詞典》第5版、《知網(wǎng)》2009版和《同義

2、詞詞林》擴展版這三個資源所共有的雙字詞為收錄對象，構(gòu)建了《漢語語素構(gòu)詞知識庫》。每一個詞語義項形成一個記錄，共39102個記錄，并對每一個記錄標注19個屬性，其中顆粒度最小的是基于《知網(wǎng)》和《現(xiàn)代漢語詞典》的兩種語素義。本文利用《漢語語素構(gòu)詞知識庫》，主要做了以下幾個方面的研究:
　　第一，本文從語義類、語素性類組合、語素義類組合、構(gòu)詞方式、詞義和語素義的關(guān)系五個方面統(tǒng)計和分析了《漢語語素構(gòu)詞知識庫》所收錄的名詞、動詞和形容詞的語

3、素構(gòu)詞知識，再按構(gòu)詞方式統(tǒng)計和分析了各詞性的語素性類組合、語素義類組合、詞義和語素義的關(guān)系。
　　第二，本文基于《漢語語素構(gòu)詞知識庫》已登錄詞的語素構(gòu)詞知識，采用了分階段的算法自動預(yù)測未登錄詞的語素構(gòu)詞知識。通過素義組合或素類組合的匹配，先預(yù)測語義層面的知識，再確定相應(yīng)語素項，最終獲得未登錄詞多層面的語素構(gòu)詞知識。本算法簡單、直觀、合理，在首素性類、首素義類、首素義、尾素性類、尾素義類、尾素義、構(gòu)詞方式這七項預(yù)測內(nèi)容全部正確的標準

4、下，實驗結(jié)果預(yù)測正確率為62.32％，召回率為61.72％。
　　第三，本文在未登錄詞語素構(gòu)詞預(yù)測的基礎(chǔ)上，將基于語素構(gòu)詞的詞語相似度作為手段，在《漢語語素構(gòu)詞知識庫》中查找與未登錄詞相似度最大的詞語作為未登錄詞的匹配詞，以此實現(xiàn)對未登錄詞的語義理解。根據(jù)實驗評價標準，閾值為0.8時，未登錄詞語義理解有效率為51.69％。
　　綜上所述，本文構(gòu)建的《漢語語素構(gòu)詞知識庫》在未登錄詞的應(yīng)用研究中取得了較好的效果，對自然語言處理具