基于隱馬爾科夫模型的中文命名實(shí)體識(shí)別研究.pdf

1、隨著信息時(shí)代的到來和Internet的發(fā)展，用自然語言作為人機(jī)交互已是必然趨勢，這對(duì)自然語言處理的深度和廣度提出了越來越高的要求。自命名實(shí)體識(shí)別技術(shù)在1995年的MUC-6(Message Understanding Conference)會(huì)議上提出以來，越來越受到自然語言處理研究者的關(guān)注，并成為很多應(yīng)用中的關(guān)鍵技術(shù)。 本文對(duì)命名實(shí)體識(shí)別的方法進(jìn)行了研究，分析了基于規(guī)則的方法和基于統(tǒng)計(jì)的方法的優(yōu)缺點(diǎn)。由于獲取上下文信息的多少和數(shù)

2、據(jù)平滑的程度是評(píng)價(jià)識(shí)別性能的兩個(gè)重要參數(shù)，而以前的統(tǒng)計(jì)模型獲取上下文信息有限，本文提出了一種基于三階隱馬爾科夫模型的命名實(shí)體識(shí)別方法，該方法使用語言知識(shí)進(jìn)行約束，兼顧了準(zhǔn)確率和召回率，取得了較好的識(shí)別效果。自動(dòng)分詞和詞性標(biāo)注直接影響命名實(shí)體的識(shí)別，本文采用了海量智能分詞系統(tǒng)對(duì)文本進(jìn)行分詞和標(biāo)注。在統(tǒng)計(jì)詞頻方面，本文使用了改進(jìn)的K均值方法對(duì)參數(shù)進(jìn)行估計(jì)，并采用線性差值法對(duì)參數(shù)結(jié)果進(jìn)行平滑處理。在命名實(shí)體識(shí)別方面，本文采用改進(jìn)的Viterb