基于統(tǒng)計和規(guī)則的中文人名識別研究與實現(xiàn).pdf

1、中文分詞技術(shù)的研究是中文信息處理的一項基礎(chǔ)性課題，廣泛應(yīng)用于搜索引擎、機器翻譯、信息抽取、文本聚類等領(lǐng)域。目前，影響分詞質(zhì)量的主要因素是歧義切分和對未登錄詞的識別，而人名在未登錄詞中又是數(shù)量最多、識別難度最大的一類，分詞系統(tǒng)中往往針對人名有專門的模塊進行識別。提高對人名識別的質(zhì)量，不僅能夠提高分詞的精度，而且對信息抽取和詞法分析有很大幫助。
　　 本文針對現(xiàn)代漢語文本，主要研究人名的自動識別問題。在對大規(guī)模姓名樣本庫和語料庫進行

2、統(tǒng)計的基礎(chǔ)上，對人名用字和人名邊界詞進行分析，總結(jié)人名用字和人名邊界詞出現(xiàn)規(guī)律，使用基于相對可信度的統(tǒng)計模型和針對系統(tǒng)自身特點設(shè)計的一系列規(guī)則來進行人名識別。具體地，本文的主要工作有三方面內(nèi)容:一是對人名識別所使用的資源作分析，對大規(guī)模人名庫（含480萬個人名）和語料庫（累計詞頻30億）進行統(tǒng)計，總結(jié)人名用字特點和規(guī)律，對人名的邊界信息作了詳細分析，根據(jù)人名邊界詞的詞性和所表達的意義對其進行了分級，作為人名外部屬性幫助人名識別，然后對本

3、文所使用的百科語料庫與傳統(tǒng)語料庫進行了對比，指出其優(yōu)越性;在本文所使用的統(tǒng)計方法方面，使用基于相對可信度的統(tǒng)計模型對大規(guī)模語料庫進行了統(tǒng)計，同時對兩種特殊形式的人名建立了模型并作出統(tǒng)計，建立了人名各類用字的統(tǒng)計信息表;在規(guī)則方法的使用方面，本文設(shè)計了一系列的規(guī)則用于提取候選姓名和對人名識別結(jié)果進行校正。最后本文通過統(tǒng)計獲得系統(tǒng)使用的各個閾值和參數(shù)，通過實驗對在研究過程中使用的方法做了對比，并驗證本文所使用的統(tǒng)計模型和規(guī)則的有效性。