基于迭代式SNM的實體解析方法及優(yōu)化策略的研究.pdf

1、實體解析（Entity Resolution，也稱為實體識別）是數(shù)據(jù)挖掘、信息融合等領(lǐng)域的難點問題，利用實體解析技術(shù)可以判斷一個或多個數(shù)據(jù)源中的不同記錄是否描述相同實體，對數(shù)據(jù)集成中產(chǎn)生的重復(fù)記錄進(jìn)行檢測并整合，可有效地消除數(shù)據(jù)源內(nèi)部以及數(shù)據(jù)源之間的數(shù)據(jù)不一致性。
　　然而，隨著互聯(lián)網(wǎng)的日益興起，網(wǎng)絡(luò)數(shù)據(jù)呈爆炸式增長，如何使實體解析技術(shù)有效地應(yīng)用于更加雜亂無章的大規(guī)模數(shù)據(jù)環(huán)境中，是目前國內(nèi)外數(shù)據(jù)挖掘、信息融合等領(lǐng)域研究學(xué)者的研究熱

2、點，其研究目標(biāo)或者在于獲取較高的識別結(jié)果質(zhì)量、或者在于獲取較高的實體解析效率。相應(yīng)地，基于迭代的實體解析方法和基于SNM(Sorted NeighborhoodMethod，簡稱SNM即近鄰排序)的實體解析方法被分別提出:前者通過迭代式地進(jìn)行實體匹配和整合來提高識別結(jié)果的質(zhì)量，但該方法往往具有較高的時間復(fù)雜度;后者采用滑動窗口方法，每次只在窗口范圍內(nèi)進(jìn)行實體匹配，優(yōu)點是匹配效率較高，缺點是難以保證識別結(jié)果的質(zhì)量。
　　針對上述問題

3、，本文提出了一種基于迭代式SNM的實體解析方法，該方法將基于迭代的實體解析方法和基于SNM的實體解析方法的優(yōu)點相結(jié)合，能夠在保證實體解析結(jié)果的質(zhì)量的同時，有效地提高實體解析的效率。本文的主要工作及貢獻(xiàn)點如下：
　　(1)系統(tǒng)地介紹了實體解析問題的國內(nèi)外研究現(xiàn)狀，簡要概括了代表性的相關(guān)工作，指出其優(yōu)缺點，并分析現(xiàn)存研究的不足之處。
　　(2)針對已有問題，提出了一種基于迭代式SNM的兩階段實體解析方法(IterativeSNM

4、-based Two-stage Entity Resolution Method，簡稱SIER)，該方法將實體解析過程分為兩個階段:第一階段基于SNM進(jìn)行初始實體匹配，能夠快速地對實體進(jìn)行劃分，得到初始匹配結(jié)果;第二階段通過對記錄進(jìn)行迭代式比較和合并，對第一階段得到的初始匹配結(jié)果進(jìn)行不斷地修正，以提高結(jié)果的召固率，同時由于每次迭代的比較范圍只在迭代窗口內(nèi)進(jìn)行，從而保證了實體解析的速率。
　　(3)進(jìn)一步改進(jìn)了SIER實體解析算法