基于MapReduce的kNN-join算法的研究與設(shè)計.pdf

1、由于互聯(lián)網(wǎng)行業(yè)的不斷發(fā)展，隨之而來的是大量的數(shù)據(jù)，因此如何在這些大量數(shù)據(jù)中獲得有價值的知識成為了人們關(guān)注的焦點。在所有的數(shù)據(jù)挖掘算法中，可以利用kNN算法進行數(shù)據(jù)分類，隨著kNN算法的廣泛應(yīng)用，kNN-join算法隨之被提出，算法被廣泛的應(yīng)用在數(shù)據(jù)挖掘的各個階段:數(shù)據(jù)預(yù)處理階段和數(shù)據(jù)挖掘階段。然而隨著數(shù)據(jù)量的不斷增大，以及人們對操作效率的要求，傳統(tǒng)方法已經(jīng)無法滿足，因此產(chǎn)生了基于MapReduce的kNN-join操作。
　　本文

2、對基于MapReduce的kNN-join操作的的各個階段進行研究，首先，對數(shù)據(jù)進行預(yù)處理，對數(shù)據(jù)劃分算法進行優(yōu)化，對現(xiàn)有的數(shù)據(jù)劃分算法進行改進，以保證數(shù)據(jù)均勻劃分;其次，為了節(jié)約join過程中的開銷，使得每個數(shù)據(jù)劃分中的所有元素的最近k個鄰居在一個集合內(nèi)，為每個數(shù)據(jù)劃分尋找種集;最后，為了均衡資源利用率與算法準(zhǔn)確率，我們對數(shù)據(jù)劃分進行群組劃分。
　　本文使用真實數(shù)據(jù)與合成數(shù)據(jù)相結(jié)合，對算法進行實驗，以證實算法的有效性，實驗結(jié)果顯