基于Hadoop的重復(fù)數(shù)據(jù)清理模型研究與實現(xiàn).pdf

1、當今，晶體管電路已經(jīng)逐漸接近其物理上的性能極限，摩爾定律在2005年左右開始失效了，人類再也不能期待單個CPU的速度每隔18個月就翻一倍，單機的數(shù)據(jù)清理能力再也滿足不了當今人們對海量數(shù)據(jù)的處理要求?；诖笠?guī)模計算機集群的分布式并行計算將成為未來數(shù)據(jù)處理軟件性能提升的主要途徑。
　　借助分布式計算近年來的應(yīng)用熱風，本研究從數(shù)據(jù)質(zhì)量這個重要因素出發(fā)，設(shè)計并實現(xiàn)了一個基于Hadoop分布式框架的重復(fù)數(shù)據(jù)清理平臺。
　　Hadoop

2、是一個開源的分布式計算框架。該分布式框架具備良好的擴充能力、較低的運作成本、較高的效率和較好的穩(wěn)定性，而且它的Map/Reduce編程模式能夠與本文的應(yīng)用（重復(fù)數(shù)據(jù)清理）完美兼容，因此選擇Hadoop框架作為本文研究的基礎(chǔ)實驗框架。當今世界，信息顯得尤為寶貴，而數(shù)據(jù)質(zhì)量是保證信息提取的一個重要前提。因此利用計算機來進行重復(fù)數(shù)據(jù)清理，減小信息系統(tǒng)數(shù)據(jù)的冗余度成為一個有意義的研究方向，這也是選擇重復(fù)數(shù)據(jù)清理作為本文應(yīng)用主題的關(guān)鍵原因。

3、>　　本文利用Hadoop的分布式數(shù)據(jù)處理特性，完成了完全重復(fù)數(shù)據(jù)清理并實現(xiàn)了數(shù)據(jù)按關(guān)鍵字段的排序過程，得到了初步聚類數(shù)據(jù)，然后采用單機預(yù)處理的方式對初步聚類數(shù)據(jù)進行再聚類。再聚類過程是該研究模型設(shè)計的重點和難點，它依靠一系列重要算法和清理規(guī)則做支撐，得到一個更加精確的聚類結(jié)果。經(jīng)過再聚類處理后的數(shù)據(jù)最后交由Hadoop平臺進行相似重復(fù)數(shù)據(jù)清理，得到最終的清理結(jié)果。
　　本研究中，通過對該模型“過濾”后的實驗數(shù)據(jù)進行分析，結(jié)果證實