基于半監(jiān)督隱馬爾科夫的漢語詞性標(biāo)注研究.pdf

1、隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步與發(fā)展，計算機(jī)成為了人類生活必不可少的一種工具。由計算機(jī)智能地處理人類語言的技術(shù)，即自然語言處理(Natural LanguageProcessing，NLP)技術(shù)便應(yīng)運(yùn)而生。詞性標(biāo)注(Part-Of-Speech Tagging)作為其中較為基礎(chǔ)的一種預(yù)處理程序，對后續(xù)的工作和課題研究都起著至關(guān)重要的作用。
　　本文使用基于隱馬爾科夫模型(Hidden Markov Model)的詞性標(biāo)注方法，從

2、如下幾個方面進(jìn)行了改進(jìn)，以提高標(biāo)注的準(zhǔn)確率。首先，利用小規(guī)模訓(xùn)練語料進(jìn)行半監(jiān)督學(xué)習(xí)，通過反復(fù)迭代不斷擴(kuò)充語料，增強(qiáng)馬爾科夫標(biāo)注效果，尤其對于不同領(lǐng)域的語料，這種遷移學(xué)習(xí)也能提高標(biāo)注準(zhǔn)確率;其次，通過詞語相似度的方法，給每個高頻的未登錄詞都標(biāo)上候選詞性，對于頻率低于10的低頻未登錄詞，則采用相似字符串查找的方式找到相似上下文，用于標(biāo)記詞性;最后，在隱馬爾科夫標(biāo)注時，不僅選取一條路徑，而是選兩條最佳路徑，并通過二次選擇，得到最后標(biāo)注結(jié)果。實