改進(jìn)的BP-HMM及其在漢語(yǔ)詞性標(biāo)注中的應(yīng)用研究.pdf

1、詞性是詞匯的最基礎(chǔ)的屬性,它不僅為句法、語(yǔ)法分析提供了相應(yīng)的知識(shí)基礎(chǔ),同時(shí)也為諸如詞性標(biāo)注等自然語(yǔ)言任務(wù)提供了有利的判定信息。詞性標(biāo)注的主要任務(wù)是對(duì)連續(xù)的詞匯串中的詞匯的詞性進(jìn)行標(biāo)注,由于其在自然語(yǔ)言處理領(lǐng)域具有非常重要的地位,所以具有比較廣泛的研究背景。
　　詞性標(biāo)注的標(biāo)注結(jié)果對(duì)于自然語(yǔ)言任務(wù)的眾多語(yǔ)言任務(wù)的精確度起到了決定性作用,目前主要利用統(tǒng)計(jì)學(xué)模型和建立語(yǔ)言規(guī)則庫(kù)的方法對(duì)詞性標(biāo)注的結(jié)果進(jìn)行改進(jìn)。其中利用隱馬爾科夫模型(Hi

2、dden Markov Model,HMM)方法進(jìn)行詞性標(biāo)注的方法是基于統(tǒng)計(jì)學(xué)模型的詞性標(biāo)注方法中比較常用的。由于漢語(yǔ)語(yǔ)言學(xué)的存在著一些獨(dú)特的語(yǔ)法特性,在使用HMM在詞性標(biāo)注的標(biāo)注過(guò)程中,經(jīng)常出現(xiàn)了包括模型的數(shù)據(jù)稀疏、兼類(lèi)詞歧義以及未登錄詞等諸多問(wèn)題。在不斷地對(duì)HMM的研究過(guò)程中,眾多學(xué)者相繼提出了利用神經(jīng)網(wǎng)絡(luò)、規(guī)則庫(kù)以及有限狀態(tài)機(jī)等方法與傳統(tǒng)HMM相結(jié)合而演化成的新的詞性標(biāo)注方法,這些方法都在一定程度上優(yōu)化了詞性標(biāo)注系統(tǒng)的標(biāo)注結(jié)果。<

3、br>　　本論文首先在研究了傳統(tǒng)的統(tǒng)計(jì)模型與神經(jīng)網(wǎng)絡(luò)對(duì)漢語(yǔ)的詞性標(biāo)注過(guò)程后,分析了BP網(wǎng)絡(luò)與傳統(tǒng)隱馬爾科夫模型在詞性標(biāo)注領(lǐng)域的特點(diǎn),提出了一種新的模型:負(fù)反饋-隱馬爾科夫模型(Back Propagation-Hidden Markov Model, BP-HMM)。BP-HMM模型可以充分地利用上下文信息,輔助詞性標(biāo)注系統(tǒng)進(jìn)行詞性標(biāo)注任務(wù)。其次,由于目前傳統(tǒng)平滑算法不能滿足新模型的數(shù)據(jù)平滑需要,因此針對(duì)模型的特點(diǎn)和特性選取刪除插值法進(jìn)

4、行優(yōu)化對(duì)模型的狀態(tài)轉(zhuǎn)移矩陣進(jìn)行平滑處理,并調(diào)整模型的觀察概率矩陣。同時(shí),將經(jīng)過(guò)BP網(wǎng)絡(luò)建立的語(yǔ)法規(guī)則庫(kù)加入未登錄詞處理辦法中,利用規(guī)則庫(kù)有效的處理未登錄詞的標(biāo)注問(wèn)題。
　　本文從北大的1998年《人民日?qǐng)?bào)》標(biāo)注語(yǔ)料庫(kù)中抽取訓(xùn)練語(yǔ)料,在復(fù)旦大學(xué)開(kāi)源自然語(yǔ)言處理系統(tǒng)fudannlp的基礎(chǔ)上,利用JAVA在Eclipse平臺(tái)上實(shí)現(xiàn)對(duì)負(fù)反饋-隱馬爾科夫模型的訓(xùn)練學(xué)習(xí),經(jīng)過(guò)語(yǔ)料庫(kù)預(yù)處理、平滑處理以及未登錄詞處理等操作,最后對(duì)Viterbi算