基于實(shí)體的海量數(shù)據(jù)在線(xiàn)檢索關(guān)鍵技術(shù)研究.pdf

1、在網(wǎng)頁(yè)信息迅速爆炸的時(shí)代，為提高用戶(hù)的檢索效率，對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行有效的整合成為了一個(gè)重要的研究課題。網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)半結(jié)構(gòu)化狀態(tài)，如商品數(shù)據(jù)、博客等，并且數(shù)據(jù)來(lái)自世界各地，語(yǔ)言習(xí)慣的不同導(dǎo)致描述方式也可能不一致，因此處理起來(lái)會(huì)比較困難?，F(xiàn)有的實(shí)體識(shí)別方法多是針對(duì)文本形式的詞組或是關(guān)系數(shù)據(jù)，無(wú)法處理網(wǎng)絡(luò)數(shù)據(jù)的問(wèn)題，而專(zhuān)門(mén)針對(duì)網(wǎng)絡(luò)數(shù)據(jù)設(shè)計(jì)的實(shí)體識(shí)別算法，如多數(shù)針對(duì)商品數(shù)據(jù)設(shè)計(jì)的實(shí)體分類(lèi)算法，它們一般存在如下的不足：第一無(wú)法滿(mǎn)足時(shí)間效率的要求，即這

2、些方法如果用到實(shí)際工程系統(tǒng)中，用戶(hù)需要經(jīng)歷很長(zhǎng)的等待時(shí)間；第二對(duì)領(lǐng)域知識(shí)有較大的依賴(lài)，現(xiàn)有的方法無(wú)法做到領(lǐng)域無(wú)關(guān)且無(wú)先驗(yàn)知識(shí)的實(shí)際要求；第三實(shí)體識(shí)別效果不好，無(wú)法取得類(lèi)似關(guān)系數(shù)據(jù)上的效果。
　　針對(duì)以上問(wèn)題，本文在以商品數(shù)據(jù)為研究對(duì)象的前提下，提出了一種基于實(shí)體的海量數(shù)據(jù)在線(xiàn)實(shí)體分類(lèi)方法。本文采用屬性提取的方法將半結(jié)構(gòu)化的商品結(jié)構(gòu)化，以此來(lái)計(jì)算商品間的相似度，在此基礎(chǔ)上又提出了兩種優(yōu)化方案，即通過(guò)網(wǎng)絡(luò)的分類(lèi)優(yōu)化和基于用戶(hù)反饋的分類(lèi)

3、優(yōu)化。在屬性提取方面，本文提出了基于模式和基于距離的兩種方法，該方法無(wú)需先驗(yàn)知識(shí)且無(wú)需人為監(jiān)督，最終提取出屬性的同時(shí)還生成了兩個(gè)本地知識(shí)庫(kù)，用于優(yōu)化后續(xù)的分類(lèi)結(jié)果；針對(duì)提取的屬性信息，本文提出了同義詞發(fā)現(xiàn)算法，用于排除商品描述中的筆誤以及用詞習(xí)慣不同的問(wèn)題；結(jié)合屬性信息，本文提出了全新的相似度度量方法，并依此將商品按實(shí)體聚類(lèi)；對(duì)于實(shí)體聚類(lèi)的結(jié)果，本文提出了基于網(wǎng)絡(luò)的優(yōu)化方案，利用網(wǎng)絡(luò)上的知識(shí)去識(shí)別跟多的商品屬性信息；本文還提出了基于用戶(hù)