面向大規(guī)模數據的離群點檢測算法研究及應用.pdf

1、隨著數據的爆炸式增長，數據的規(guī)模急劇增加，在如此規(guī)模巨大的數據當中獲取有價值的信息是當前面臨的一大挑戰(zhàn)。由于傳統(tǒng)的離群點檢測技術多是面向小規(guī)模數據的，因此在處理大規(guī)模數據情況下其缺點也暴露無遺。本文的研究目的主要是針對大規(guī)模數據集的特點，進行離群點的檢測方法研究，解決大規(guī)模數據所帶來精度和效率上的問題。
　　通過對傳統(tǒng)離群點檢測算法特性及性能的詳細分析，并對分布式計算相關技術深入研究學習，從基于多種不同思想的檢測方法中選取基于聚類

2、的檢測方法作為研究點，并結合分布式計算思想，應用于面向大規(guī)模數據集的離群點檢測中。
　　首先，具體分析了K中心點聚類算法，針對算法中復雜的流程進行簡化。文中提出一種基于排序的索引矩陣，根據此索引矩陣縮小中心點的計算區(qū)域，從而達到降低算法復雜度的目的。根據聚類結果的特點，采用距離的衡量手段提出一種新的離群點檢測算法，并詳細闡釋了算法的設計思想和流程步驟。通過真實數據集上的實驗驗證了本文提出的算法的有效性。
　　然后，剖析本文提

3、出的離群點檢測算法，對算法的結構特點和執(zhí)行過程的并行化方法進行了可行性的分析。結合 MapReduce并行架構的特點，提出將單機上的離群點檢測算法進行 MapReduce并行化的總體思路，根據并行化原理與算法的流程特性設計了算法具體并行化的實現步驟。
　　最后，搭建Hadoop分布式集群，并在集群上運行改進的算法，對其進行性能方面的實驗驗證。通過實驗分析，并行化后的算法在效率與穩(wěn)定性上都具有顯著的提高，可見算法的改進與并行化設計是