應(yīng)用于詞性標(biāo)注的隱馬爾可夫模型參數(shù)評(píng)估.pdf

1、在自然語言處理中，詞性標(biāo)注是最基礎(chǔ)的課題。由于基于統(tǒng)計(jì)的方法具有不需要人工總結(jié)語言學(xué)規(guī)則、識(shí)別正確率高等優(yōu)點(diǎn)，已逐漸成為研究的熱點(diǎn)。在基于統(tǒng)計(jì)的方法中，隱馬爾可夫模型(HiddenMarkovModel簡(jiǎn)稱HMM)是最主要的算法模型之一。 參數(shù)是隱馬爾可夫模型的重要組成部分，參數(shù)評(píng)估也成為構(gòu)建隱馬爾可夫模型的必要前提。在分析前人工作及研究現(xiàn)狀的基礎(chǔ)上，本文對(duì)有指導(dǎo)的隱馬爾可夫模型參數(shù)評(píng)估方法做出兩個(gè)方面的改進(jìn)：一是評(píng)估詞的出現(xiàn)概

2、率時(shí)，增加了前詞詞性；二是利用感知器算法對(duì)隱馬爾可夫模型參數(shù)進(jìn)行修正。 傳統(tǒng)的隱馬爾可夫模型的輸出獨(dú)立性假設(shè)為：詞的出現(xiàn)概率只與它的詞性有關(guān)，與前詞或后詞的詞性無關(guān)。本文在評(píng)估詞的出現(xiàn)概率時(shí)，增加了前詞詞性，即：詞的出現(xiàn)概率不僅與它的詞性有關(guān)，而且與前詞詞性有關(guān)。使隱馬爾可夫模型在詞性標(biāo)注中，能夠利用更多的語言學(xué)信息。 感知器算法是一種能根據(jù)輸出與所期望的輸出間的差別來調(diào)整模型參數(shù)的算法。本文利用感知器算法對(duì)隱馬爾可夫模

3、型參數(shù)進(jìn)行修正：首先用Viterbi算法對(duì)輸入句子進(jìn)行自動(dòng)分詞及詞性標(biāo)注，然后將輸出結(jié)果與正確的詞性序列比較，若不相同，則調(diào)整隱馬爾可夫模型參數(shù)。 實(shí)驗(yàn)結(jié)果如下：在封閉測(cè)試中，采用新的參數(shù)評(píng)估模型，F(xiàn)-值達(dá)到96.78﹪，與采用傳統(tǒng)參數(shù)評(píng)估的隱馬爾可夫模型相比，F(xiàn)-值提高1.84﹪。在開放測(cè)試中，采用新的參數(shù)評(píng)估模型，F(xiàn)-值達(dá)到92.79﹪，與采用傳統(tǒng)的參數(shù)評(píng)估的隱馬爾可夫模型相比，提高3.44﹪。實(shí)驗(yàn)表明：經(jīng)過上述改進(jìn)后的隱馬