漢語語素構(gòu)詞知識庫的構(gòu)建及其在未登錄詞理解上的應(yīng)用_2274.pdf

1、摘要摘要漢語的詞匯系統(tǒng)總是在不斷地發(fā)展和變化，因而未登錄詞的數(shù)量是無限的。但是語素作為漢語中詞語的構(gòu)詞成分，在數(shù)量上是有限的，且其表義功能是相對穩(wěn)定的。因此在自然語言處理中，可以把語素作為基礎(chǔ)資源，獲取語素構(gòu)詞的知識，用來識別和理解未登錄詞。然而，目前建立的語素構(gòu)詞知識庫大多只用于語素構(gòu)詞規(guī)律的統(tǒng)計，和未登錄詞的應(yīng)用研究之間存在脫節(jié)現(xiàn)象。為了得到更有利于機(jī)器計算的語素構(gòu)詞知識，本文以《現(xiàn)代漢語詞典》第5版、《知網(wǎng)》2009版和《同義詞詞

2、林》擴(kuò)展版這三個資源所共有的雙字詞為收錄對象，構(gòu)建了《漢語語素構(gòu)詞知識庫》。每一個詞語義項形成一個記錄，共39102個記錄，并對每一個記錄標(biāo)注19個屬性，其中顆粒度最小的是基于《知網(wǎng)》和《現(xiàn)代漢語詞典》的兩種語素義。本文利用《漢語語素構(gòu)詞知識庫》，主要做了以下幾個方面的研究：第一，本文從語義類、語素性類組合、語素義類組合、構(gòu)詞方式、詞義和語素義的關(guān)系五個方面統(tǒng)計和分析了《漢語語素構(gòu)詞知識庫》所收錄的名詞、動詞和形容詞的語素構(gòu)詞知識，再按

3、構(gòu)詞方式統(tǒng)計和分析了各詞性的語素性類組合、語素義類組合、詞義和語素義的關(guān)系。第二，本文基于《漢語語素構(gòu)詞知識庫》己登錄詞的語素構(gòu)詞知識，采用了分階段的算法自動預(yù)測未登錄詞的語素構(gòu)詞知識。通過素義組合或素類組合的匹配，先預(yù)測語義層面的知識，再確定相應(yīng)語素項，最終獲得未登錄詞多層面的語素構(gòu)詞知識。本算法簡單、直觀、合理，在首素性類、首素義類、首素義、尾素性類、尾素義類、尾素義、構(gòu)詞方式這七項預(yù)測內(nèi)容全部正確的標(biāo)準(zhǔn)下，實(shí)驗(yàn)結(jié)果預(yù)測正確率為62

4、32％，召回率為6172％。第三，本文在未登錄詞語素構(gòu)詞預(yù)測的基礎(chǔ)上，將基于語素構(gòu)詞的詞語相似度作為手段，在《漢語語素構(gòu)詞知識庫》中查找與未登錄詞相似度最大的詞語作為未登錄詞的匹配詞，以此實(shí)現(xiàn)對未登錄詞的語義理解。根據(jù)實(shí)驗(yàn)評價標(biāo)準(zhǔn)，閾值為O8時，未登錄詞語義理解有效率為5169％。綜上所述，本文構(gòu)建的《漢語語素構(gòu)詞知識庫》在未登錄詞的應(yīng)用研究中取得了較好的效果，對自然語言處理具有重要的價值。關(guān)鍵字：語言知識庫，知網(wǎng)，未登錄詞，語義預(yù)測，