聚類分析算法研究及其在數(shù)據(jù)密集型計算環(huán)境下的實現(xiàn).pdf

1、當前，在聚類分析中仍然存在準確性和完備性方面的不足，也沒有哪種算法能夠同時適用于應用的各個方面且都是有效的。在高性能計算方面，主要面臨著由于大數(shù)據(jù)集（數(shù)據(jù)密集型計算環(huán)境下的數(shù)據(jù)）而帶來的挑戰(zhàn)。這些大數(shù)據(jù)集一般具有海量、高速變化、分布、異構、半結構化或非結構化的特點。對于這樣的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)挖掘算法已經不能滿足其處理要求，逐漸成為數(shù)據(jù)處理技術中的瓶頸問題。
　　本文通過對基于熵的模糊聚類算法（EFC）和中心點聚類算法的研究，提出了

2、一種改進的基于熵的中心聚類算法（Improved Entropy-based Central Clustering Algorithm，IECC算法）。該算法首先通過EFC算法得到差異性十分明顯的原始數(shù)據(jù)集的簇心，再以得到的簇心為中心再次進行聚類分析，通過各點到各中心的距離將各點重新分配到以各中心所代表的集合中。改進的算法不僅可以得到緊湊且差異明顯的聚類結果，還可以使聚類結果的準確率得到有效提高。為了適應數(shù)據(jù)密集型計算環(huán)境下的數(shù)據(jù)處理要

3、求，本文又提出一種將改進的基于熵的中心聚類算法（IECC算法）在 Hadoop分布式平臺上實現(xiàn)的可行性方案。具體的實現(xiàn)主要分為三個階段即 Map、Combine和Reduce階段，在分節(jié)點上主要是Map的過程，該過程只需要得到差異性十分明顯的原始數(shù)據(jù)集的簇心以及相應的離群點，將其看作是該節(jié)點上的代表點；再經過Combine階段，把分節(jié)點上得到的簇心和離群點相關信息傳到主節(jié)點上，通過Combine合并相同簇心；最后，在主節(jié)點上執(zhí)行IECC