基于多核的并行相似連接.pdf

1、相似連接（similarity join）是指在給定的數(shù)據(jù)集中，根據(jù)給定的相似度度量函數(shù)來衡量數(shù)據(jù)之間的相似度，并找出所有相似度不小于給定閾值的數(shù)據(jù)對的操作。相似連接有著廣泛的應用領域，如模糊的關鍵字匹配，文檔聚類，系統(tǒng)推薦，協(xié)同過濾，數(shù)據(jù)集成與清洗等。隨著網(wǎng)絡和移動應用等信息技術的不斷發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長，海量數(shù)據(jù)的分析需要強大的計算能力，相似連接成為大數(shù)據(jù)處理領域的熱點方式之一。
　　度量相似性的方法有很多種，如，Jacc

2、ard similarity，Cosine similarity，Overlap similarity，Hamming distance，Edit distance。本篇文章主要采用Jaccard similarity的方法去量化數(shù)據(jù)對相似值。傳統(tǒng)的單核計算機平臺的處理能力已經(jīng)很難滿足海量數(shù)據(jù)處理的計算要求。為了提高計算效率和計算性能，利用基于多核平臺的多線程并行編程發(fā)揮多核體系結構的優(yōu)勢，已經(jīng)成為實現(xiàn)個人低成本并行計算和多核技術發(fā)展的