基于條件隨機域模型的中文地名識別的研究.pdf

1、中文地名識別屬于中文命名實體(Named Entity)識別范疇，它是自然語言處理的基礎(chǔ)任務(wù)之一，是機器翻譯、信息檢索、問答系統(tǒng)等技術(shù)的基礎(chǔ)，中文地名在命名實體中占有很大比例。由于中文地名自身的特點，中文地名識別一直是中文自然語言處理的難題。
　　 本文在已有研究的基礎(chǔ)上，利用條件隨機域(Conditional Random Fields，CRFs)模型進行中文地名自動識別的研究，旨在提高中文地名識別的效果。
　　 本文

2、的核心工作概括為以下兩個方面：
　　 (1)首先簡要介紹了隱馬爾科夫理論和最大熵隱馬爾科夫模型理論，然后進一步介紹了由最大熵理論發(fā)展起來的CRFs模型。CRFs模型是目前比較優(yōu)秀的條件概率模型，它沒有隱馬爾科夫模型的輸出獨立性假設(shè)，同時最大程度上降低了最大熵模型的標(biāo)記偏置問題帶來的影響，從而可以利用上下文特征獲得全局最優(yōu)的標(biāo)注結(jié)果。
　　 (2)在傳統(tǒng)用CRFs模型進行中文地名識別中，使用單層CRFs模型很難獲取遠(yuǎn)距離特

3、征，因此為了易于處理非本地依賴實體的識別，提出雙層CRFs模型：將地名識別問題轉(zhuǎn)化為序列標(biāo)注問題，結(jié)合中文地名的特點，首先將中文文本中提取的地名特征分為三類：局部特征、非局部特征和詞典特征，同時將訓(xùn)練文本中的地名提取出來作原始地名詞典，然后利用局部特征訓(xùn)練第一層CRFs，對測試語料進行測試，將識別的結(jié)果加入到原始地名詞典中，第二層CRFs利用非局部特征和通過最大匹配法獲的詞典特征進行。
　　 本文的主要貢獻(xiàn)是在進行中文地名識別時