中文地名的自動識別和標準化.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡上的數(shù)據(jù)呈現(xiàn)了指數(shù)級地增長,互聯(lián)網(wǎng)的用戶也不斷增加。如何從各種數(shù)據(jù)中快速準確的找到人們需要的信息,并應對不同用戶產(chǎn)生的不同規(guī)則及格式的數(shù)據(jù),成為當前信息領域亟待解決的兩個問題。本文以應急領域為應用背景,以地名數(shù)據(jù)為研究對象,研究如何解決上述兩個問題。主要的工作包括基于統(tǒng)計學習的中文地名自動識別和中文地名標準化。
　　 中文地名識別屬于自然語言處理領域中命名實體識別的范疇,已有研究使用基于規(guī)則的方法以及基于統(tǒng)

2、計學習的方法。本文采用基于統(tǒng)計學習的方法,使用最大熵模型進行中文地名自動識別,主要的工作包括:
　　 1、中文地名特點分析:包括對中文地名用字特征、出現(xiàn)語境等特點進行分析。
　　 2、中文地名識別特征選擇和建模:根據(jù)中文地名的特點,選擇特征并使用最大熵對地名識別進行建模。
　　 3、中文地名識別實驗:使用標準語料庫,進行地名識別的實驗,并分組實驗不同特征在模型中的作用。并通過添加規(guī)則改進地名識別的召回率。實驗證明

3、,最大熵模型的識別結(jié)果相比對比系統(tǒng)有顯著提高。
　　 中文地名標準化包括兩個部分,即地名的標注和歸一化。地名的標注包括將長地名中不同元素塊分割開以及按地名元素含義不同加上不同標簽。歸一化指解決重名、缺失等問題,使地名符合特定格式。地名標準化的主要工作包括:
　　 1、中文長地名分詞:首先使用已有工具對長地名分詞,然后使用啟發(fā)式的算法結(jié)合統(tǒng)計語言模型改進分詞結(jié)果。
　　 2、中文長地名結(jié)構(gòu)標注:對于正確分詞的地名,