基于最大熵模型的中國(guó)人名自動(dòng)識(shí)別.pdf

1、漢語(yǔ)自動(dòng)分詞是中文信息處理的基礎(chǔ)工程，中國(guó)人名的自動(dòng)識(shí)別則是漢語(yǔ)自動(dòng)分詞的難點(diǎn)之一，已經(jīng)成為制約漢語(yǔ)自動(dòng)分詞系統(tǒng)準(zhǔn)確率的一大瓶頸。 本文在分析中國(guó)人名用字以及中國(guó)人名與其上下文聯(lián)系的基礎(chǔ)上，采用最大熵模型對(duì)中國(guó)人名進(jìn)行自動(dòng)識(shí)別。 本文對(duì)中國(guó)人名的內(nèi)部成詞情況以及中國(guó)人名與其上下文的聯(lián)系進(jìn)行了分析，得出了中國(guó)人名上下文與中國(guó)人名有著很強(qiáng)的聯(lián)系并且中國(guó)人名內(nèi)部構(gòu)成也呈現(xiàn)一定的統(tǒng)計(jì)特性的結(jié)論。 本文用最大熵模型自動(dòng)識(shí)別

2、中國(guó)入名，識(shí)別流程分為訓(xùn)練和識(shí)別兩個(gè)階段。 在訓(xùn)練階段中，主要采用最大熵模型對(duì)熟語(yǔ)料進(jìn)行參數(shù)訓(xùn)練。首先用ICTCLAS的人名角色表對(duì)語(yǔ)料庫(kù)的詞性進(jìn)行角色替換，然后構(gòu)造特征模板庫(kù)并且用特征模板庫(kù)從角色替換后的語(yǔ)料庫(kù)中提取出特征集，最后用IIS算法訓(xùn)練特征集的最大熵參數(shù)。 在識(shí)別階段中，首先用基N-最短路徑分詞算法進(jìn)行初分詞，接著用viterbi算法對(duì)初分詞文本進(jìn)行角色標(biāo)注，最后在角色序列的基礎(chǔ)上進(jìn)行模式最大匹配，從而實(shí)現(xiàn)中