中文詞性標注及未登錄詞詞性預測研究.pdf

1、中文詞性標注(Pans of Speech Tagging)，是指根據上下文信息為待標注的句子中的每一個詞語分配一個正確的詞性標記的過程。中文詞性標注是自然語言處理的基礎，為后續(xù)的信息抽取、句法分析、機器翻譯等任務提供必要的信息。
　　未登錄詞(Unknown Words)又稱為新詞，是指出現(xiàn)在語料中但未收錄在參考詞典中或未出現(xiàn)在訓練語料中的詞語。未登錄詞詞性預測(Unknown Word POS Guessing)，是指采用一定

2、的方法為每個未登錄詞確定詞性標記的過程。
　　目前詞性標注面臨的較大困難是:兼類詞詞性標注和未登錄詞詞性標注。兼類詞詞性標注及未登錄詞詞性預測的研究有助于改善中文詞性標注的效果，因此，本文對中文詞性標注及未登錄詞詞性預測進行了較為深入的研究。
　　首先對中文詞性標注及未登錄詞詞性預測的各種研究方法進行分析與歸納，然后針對現(xiàn)有的管道模型標注方法中存在的不足，在使用聯(lián)合模型的基礎上提出基于規(guī)則獲取的兼類詞標注方法和基于組合模型的

3、未登錄詞詞性預測方法。主要工作包括:
　　1.利用管道模型方法進行詞性標注。分別采用經典的最大熵模型和隱馬爾科夫模型進行詞性預測，實現(xiàn)了兩個基于管道模型的基準系統(tǒng)(baseline系統(tǒng))。
　　2.利用聯(lián)合模型方法進行詞性標注。針對管道模型標注方法的缺點，采用基于聯(lián)合模型的方法將分詞問題和詞性標注問題作為整體來處理，在處理分詞的同時標注詞性，并且在使用聯(lián)合模型的基礎上提出基于規(guī)則自動獲取的兼類詞消歧義方法和基于組合模型的未登