產(chǎn)品名實體識別及規(guī)范化研究.pdf

1、隨著電子商務(wù)的普及與繁榮，針對電子商務(wù)的檢索技術(shù)開始被越來越多的研究者所關(guān)注，其中，作為電子商務(wù)檢索技術(shù)的核心問題之一的產(chǎn)品名實體識別技術(shù)也成為了一個重要的研究課題。本文主要研究產(chǎn)品名實體的定義與語料庫的構(gòu)建、產(chǎn)品名實體識別及規(guī)范化技術(shù)，具體內(nèi)容包括以下幾個方面：
　　第一，根據(jù)產(chǎn)品名實體在網(wǎng)絡(luò)環(huán)境中的變化規(guī)律，提出了產(chǎn)品名實體的組成成分的全新定義，從而有利于更為細致的針對不同組成成分的識別問題開展研究。在此基礎(chǔ)上，制定了產(chǎn)品名實

2、體語料標注規(guī)范，并采用半監(jiān)督的方法構(gòu)建了一個高質(zhì)量的產(chǎn)品名實體識別語料庫。另一方面，為了使得產(chǎn)品名實體規(guī)范化能夠順利展開，還給出了產(chǎn)品名實體規(guī)范化定義，并據(jù)此構(gòu)建了一個包含21240產(chǎn)品的層次型產(chǎn)品實體庫。
　　第二，針對產(chǎn)品名實體劃分結(jié)構(gòu)的特點，將產(chǎn)品名實體識別分為兩個階段，第一階段識別產(chǎn)品的品牌名、系列名、型號名及公司名，第二階段在第一階段的識別基礎(chǔ)上，對產(chǎn)品名實體進行識別，并給出了基于隱馬爾科夫模型、最大熵模型、條件隨機場模

3、型的產(chǎn)品名實體識別方法。在基于最大熵模型和條件隨機場模型的產(chǎn)品名實體識別方法中，將產(chǎn)品的品牌庫和系列庫融入到模型的特征模板中，用于觸發(fā)產(chǎn)品的品牌名、系列名及型號名的識別。實驗結(jié)果表明，在融入產(chǎn)品的品牌特征和系列特征之后，系統(tǒng)對產(chǎn)品名實體識別的F值提升了8.42％。最后，比較分析了三個方法之間的優(yōu)缺點，其中基于條件隨機場模型的產(chǎn)品名實體識別方法取得了最好的識別性能，系統(tǒng)的F值取得了86.45%。
　　第三，針對產(chǎn)品名稱簡寫及產(chǎn)品多名