中文姓名自動識別系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、中文命名實體或未登錄詞識別是中文信息處理的基礎(chǔ)研究課題，是文本理解、文本校對、文本主題自動抽取、文本聚類、文本挖掘、文本過濾、信息抽取、機器翻譯等多種自然語言處理技術(shù)的重要基礎(chǔ)。因此，研究中文命名實體識別對提高詞法分析、句法分析、語義分析乃至中文信息處理的質(zhì)量有很重要的意義。 本文針對現(xiàn)代漢語文本，主要研究人名的自動識別問題，我們在對大規(guī)模姓名樣本庫、姓名語料庫進行統(tǒng)計的基礎(chǔ)上，將姓氏按其在真實文本中成為真姓氏的概率對姓氏進行優(yōu)

2、先級劃分，并重點研究了前300個姓氏作普通單字時其上下文用字規(guī)律及姓氏的詞性規(guī)律，將局部二元統(tǒng)計語言模型作為基本框架，設(shè)計并實現(xiàn)了一個中文人名自動識別系統(tǒng)。具體地，本文的主要內(nèi)容如下： 本文首先分析了中文人名識別的困難，并對現(xiàn)有的人名識別方法進行了簡單介紹和比較；然后建立了人名樣本庫、姓氏庫、人名語料庫等在人名識別前所需的語言學(xué)資源，并對這些資源進行統(tǒng)計分析的基礎(chǔ)上，建立了各種人名用字表、姓氏概率表、分詞詞典、人名上下文信息表、

3、姓氏用作普通單字時的上下文信息表、姓氏前綴、后綴表等人名識別過程中所需的數(shù)據(jù)資源。然后對姓氏按優(yōu)先級進行分類，并通過3σ法則建立優(yōu)先級閾值庫；利用局部二元統(tǒng)計語言模型對人名識別問題進行建模，并給出各個優(yōu)先級的姓氏的識別規(guī)則。最后，我們設(shè)計并實現(xiàn)了一個基于局部二元統(tǒng)計模型的中文人名自動識別系統(tǒng)。 實驗結(jié)果表明，本文提出的人名識別模型能夠獲得較為滿意的結(jié)果。對98年1月《人民日報》26日～31日的語料進行的開放測試，在調(diào)整閾值參數(shù)c