中文未登錄名詞短語的識別方法研究.pdf

1、自然語言處理是計(jì)算機(jī)科學(xué)中一個(gè)引人入勝、富有挑戰(zhàn)性的課題。它的任務(wù)是建立一種計(jì)算模型，這種計(jì)算模型能夠模擬人類語言認(rèn)知的過程。但是當(dāng)前計(jì)算機(jī)的智能水平還遠(yuǎn)遠(yuǎn)不能與人類相提并論，困擾其發(fā)展的原因有很多，對未登錄詞的識別是自然語言處理領(lǐng)域亟待解決的幾個(gè)難題之一。本論文在剖析現(xiàn)有未登錄名詞短語識別算法基礎(chǔ)之上，對中文未登錄名詞短語，特別是名詞短語中的姓名進(jìn)行研究，提出了一種新的基于詞性探測的中文姓名識別算法。同時(shí)，結(jié)合“支持向量機(jī)”這一新的機(jī)

2、器學(xué)習(xí)方法，從不同的角度對中文姓名的識別問題進(jìn)行了研究。論文提出的算法通過編程實(shí)現(xiàn)后，將作為一個(gè)重要的功能模塊應(yīng)用于由本實(shí)驗(yàn)室自主開發(fā)的“中文自動分詞系統(tǒng)”中，以提高該系統(tǒng)識別新詞的能力。 論文首先對自然語言處理作了簡單介紹，提出了中文自然語言處理的特殊性，即漢語的詞與詞之間不象西方文字那樣存在自然分隔標(biāo)志，因此必須對待處理的中文文本進(jìn)行自動分詞。隨著中文自動分詞算法研究的深入，制約其發(fā)展的幾個(gè)問題便越來越受到研究者的關(guān)注。其中

3、一大難題就是對中文未登錄名詞短語的識別。 論文主體部分介紹了名詞短語中姓名的識別方法，并闡述了將其作為研究中文未登錄名詞短語識別問題切入點(diǎn)的意義及作用。在分析常見中文姓名識別方法的基礎(chǔ)上，指出了現(xiàn)有識別算法的不足，進(jìn)而提出了基于詞性探測的未登錄中文姓名識別算法。該算法結(jié)合統(tǒng)計(jì)語言模型和中文構(gòu)詞規(guī)則等信息，能有效識別中文姓名。此外，論文還引入了支持向量機(jī)學(xué)習(xí)方法，從統(tǒng)計(jì)學(xué)分類的角度探討中文姓名與非中文姓名在若干特征上的差異，驗(yàn)證應(yīng)