基于NSP和CRFs雙層模型的專有名詞識別方法.pdf

1、專有名詞識別是中文分詞技術(shù)必不可少的基礎(chǔ)環(huán)節(jié)，也是中文信息處理任務(wù)的關(guān)鍵。因此，專有名詞識別對提高網(wǎng)絡(luò)信息檢索、文本分類、語音識別和機(jī)器翻譯等重要領(lǐng)域的研究有著重要的意義。
　　 本文采用基于NSP(N-Shorest Path)和CRFs(Conditional Random Fields)雙層模型的專有名詞識別方法。首先在低層使用基于N-最短路徑粗切分方法，得到字符串的切分結(jié)果集，從而最大概率的涵蓋了正確的切分結(jié)果；然后，在

2、高層采用條件隨機(jī)域方法，使用低層提交的特征、專有名詞的單一和復(fù)合特征對文本進(jìn)行標(biāo)注，復(fù)合特征的加入更有利于挖掘?qū)Ｓ忻~上下文信息和提高實(shí)驗(yàn)系統(tǒng)的準(zhǔn)確度。論文引入了多個(gè)專有名詞詞典的存儲結(jié)構(gòu)，從而有效的提高系統(tǒng)的查找和匹配速度。本文選用北京大學(xué)1998年1月份的《人民日報(bào)》語料庫作為訓(xùn)練和測試數(shù)據(jù)，實(shí)驗(yàn)測試的地名的召回率和準(zhǔn)確率分別為87.42％，83.99％，F(xiàn)-值為85.67％；機(jī)構(gòu)名的召回率和準(zhǔn)確率分別為72.13％，70.38％，