面向大數據集成的實體識別框架及關鍵技術的研究.pdf

1、現代互聯網每日產生大量的數據，引發(fā)了對大規(guī)模數據的處理的需求。面對海量的數據，提出了新形式的分布式文件存儲系統，并且基于文件系統之上提出了并行的計算方式解決大數據帶來的計算效率的挑戰(zhàn)。最具代表的是Google提出的MapReduce并行編程框架，使得很多基于大數據的最常見計算能夠在大規(guī)模計算集群中得以高效的實現。實體識別(Entity Resolution)是指在判斷一個或多個數據源中兩個不同記錄是否描述相同實體，它有時也被稱作記錄連接

2、(Record Linkage)，在數據集成中被用于數據清洗(Data Clean)、去重(Deduplication)和相似連接(Similarity Joins)等集成操作中。實體識別技術可被廣泛應用于人口普查、引文識別、Web搜索、數據清洗以及剽竊檢驗等諸多領域。然而隨著數據集規(guī)模的日益增大，集中式處理幾百GB數據時已經出現性能瓶頸，更不用說TB、PB級別。由于實體識別本身可以采用并行計算模型進行處理，因此采用MapReduce分

3、布式計算模型能夠很好地處理大規(guī)模數據集上的實體識別問題，提高執(zhí)行效率。
　　本文提出了基于MapReduce的實體識別框架VEER，其中包含三個處理階段。第一個階段VEER從一組數據源中發(fā)現所有滿足閾值的相似記錄對。這個工作是基于相似連接算法的。第二個階段劃分所有的相似記錄對，形成相似子圖集合。第三個階段利用ICAR原則合并每個相似子圖中的實體。VEER框架允許實體識別任務從任何一個階段開始運行，以適應不同需求的應用。為了提高實體

4、識別框架對大數據的處理效率，本文重點研究了分布式相似連接算法和任務調度策略兩個問題。針對分布式相似連接，本文提出了基于前綴與位置信息的過率算法，通過降低記錄間匹配數量提高執(zhí)行效率。針對本框架的不同處理階段，本文分別提出了面向負載均衡和子圖構建的任務調度算法，從而提高MapReduce任務的執(zhí)行效率。本文基于Hadoop系統和VEER框架實現了實體識別原形系統。該原型系統在為用戶提供了友好的交互界面同時，能夠有效地提高相似連接的的過濾性能

5、和集群的利用率。
　　對于本文提出的基于MapReduce框架的相似連接算法和調度策略，本文在VEER實體識別原型系統上采用DBLP和Citeseerx的真實數據集進行了實驗。通過實驗，我們比較了不同相似連接算法在時間代價以及集群的利用率上的性能。實驗結果表明本文的算法能夠穩(wěn)定地的運行在集群中，每個單點的執(zhí)行負載基本相同，整體的運行效率隨著數據規(guī)模的增加會有顯著提高。本文的VEER實體識別工具能夠很好地執(zhí)行MapReduce集群調