基于NSP和CRFs雙層模型的專有名詞識別方法.pdf

1、專有名詞識別是中文分詞技術必不可少的基礎環(huán)節(jié)，也是中文信息處理任務的關鍵。因此，專有名詞識別對提高網(wǎng)絡信息檢索、文本分類、語音識別和機器翻譯等重要領域的研究有著重要的意義。
　　 本文采用基于NSP(N-Shorest Path)和CRFs(Conditional Random Fields)雙層模型的專有名詞識別方法。首先在低層使用基于N-最短路徑粗切分方法，得到字符串的切分結果集，從而最大概率的涵蓋了正確的切分結果；然后，在

2、高層采用條件隨機域方法，使用低層提交的特征、專有名詞的單一和復合特征對文本進行標注，復合特征的加入更有利于挖掘專有名詞上下文信息和提高實驗系統(tǒng)的準確度。論文引入了多個專有名詞詞典的存儲結構，從而有效的提高系統(tǒng)的查找和匹配速度。本文選用北京大學1998年1月份的《人民日報》語料庫作為訓練和測試數(shù)據(jù)，實驗測試的地名的召回率和準確率分別為87.42％，83.99％，F(xiàn)-值為85.67％；機構名的召回率和準確率分別為72.13％，70.38％，