面向招標數(shù)據(jù)的命名實體識別方法研究及應(yīng)用.pdf

1、命名實體識別是自然語言處理和數(shù)據(jù)挖掘領(lǐng)域的熱點研究課題之一，隨著網(wǎng)絡(luò)數(shù)據(jù)的爆發(fā)式增長，人們對如何在海量數(shù)據(jù)中快速準確獲取有意義信息的需求不斷增加。命名實體識別是關(guān)鍵信息提取的一項核心技術(shù)，在信息抽取、信息檢索、文本分類等多種自然語言處理的領(lǐng)域中都起著關(guān)鍵性的作用，受到研究人員的極大重視。
　　本文從中文命名實體識別的理論研究出發(fā)，針對在招標數(shù)據(jù)中對命名實體提取和識別的迫切需求，重點研究在招標數(shù)據(jù)集中命名實體提取規(guī)則的設(shè)計以及基于混

2、合模型的命名實體識別方法。構(gòu)建全國招投標網(wǎng)絡(luò)平臺數(shù)據(jù)集，通過實驗充分驗證了提出方法的有效性，能夠滿足招標數(shù)據(jù)中評審專家名、項目聯(lián)系人、聯(lián)系地址、招標機構(gòu)名、代理機構(gòu)名和中標機構(gòu)名六種命名實體提取的實際需求。本文的主要工作及研究成果包括:
　　(1)深入分析招標數(shù)據(jù)中實體的構(gòu)成規(guī)則以及文本特征，構(gòu)建適用于識別招標數(shù)據(jù)中命名實體的邊界規(guī)則庫和實體規(guī)則庫，采用基于規(guī)則的方法對其中的命名實體進行識別研究。
　　(2)提出了一種基于混

3、合模型的命名實體識別方法。該方法采用二階隱馬爾可夫模型作為統(tǒng)計模型，根據(jù)模型優(yōu)化了Viterbi算法，充分利用上下文信息進行命名實體識別。同時根據(jù)招標數(shù)據(jù)的特點，在統(tǒng)計模型的基礎(chǔ)上加入基于規(guī)則的前期處理和后期校正處理，提高了命名實體識別效果。
　　(3)針對構(gòu)建的全國招投標網(wǎng)絡(luò)平臺數(shù)據(jù)，通過三組實驗對本文提出的基于規(guī)則的方法、基于混合模型的方法和哈工大的LTP系統(tǒng)以及中科院的NLPIR系統(tǒng)對數(shù)據(jù)集中六種命名實體的識別效果進行驗證。