半監(jiān)督聚類并行化實現(xiàn)的研究.pdf

1、作為一種重要的數(shù)據(jù)分析方法，聚類分析按照某種相似性度量將樣本對象劃分到不同的聚類中，并要求同一聚類中的樣本相似性盡可能地大，而不同聚類中樣本相似性盡可能地小。同時，作為一種無監(jiān)督學(xué)習(xí)方法，聚類分析在對樣本進行劃分前并不了解樣本的目標屬性。但是在許多實際應(yīng)用中，在獲得大部分未標記樣本之外，通常還可以獲得少部分帶有監(jiān)督信息的樣本，半監(jiān)督聚類便是研究如何利用這些少量的監(jiān)督信息來指導(dǎo)未標記樣本的聚類過程。
　　半監(jiān)督聚類中通常包含兩種類型

2、的監(jiān)督信息，一種是樣本的類別標記，另一種是一對樣本的成對約束關(guān)系，其中樣本的類別標記結(jié)合樣本信息可以構(gòu)成Seeds集。為了克服傳統(tǒng)半監(jiān)督聚類算法中監(jiān)督信息使用不充分的問題，本文結(jié)合使用了樣本的類別標記和成對約束這兩種監(jiān)督信息指導(dǎo)Kmeans聚類過程，提出一種基于Seeds集和成對約束的半監(jiān)督聚類算法SC-Kmeans（Kmeans based on Seeds set and pairwise constraints）。算法首先利用Se

3、eds集對成對約束規(guī)模進行擴充，然后根據(jù)Seeds集計算初始聚類中心，優(yōu)化聚類初始化效果，最后將擴充后的成對約束集引入算法中指導(dǎo)樣本的劃分過程，要求樣本在劃分過程中不能違反成對約束條件。
　　同時，為了獲得更高質(zhì)量的監(jiān)督信息，本文通過對監(jiān)督信息中所含信息量的分析和判斷，將主動學(xué)習(xí)算法引入到SC-Kmeans中，設(shè)計一種主動半監(jiān)督聚類算法Active SC-Kmeans。該算法使用最遠距離優(yōu)先選擇策略對未標記樣本提出標記請求，選擇與

4、Seeds集中樣本距離最遠的未標記樣本對象進行標注，能夠通過盡量小的代價選取出信息含有量較高的監(jiān)督信息，提高SC-Kmeans算法聚類準確率。
　　針對目前聚類算法處理大規(guī)模數(shù)據(jù)集時間效率較低的問題，本文利用Spark并行計算框架，將提出的SC-Kmeans算法實現(xiàn)并行化處理。根據(jù)SC-Kmeans算法需要頻繁迭代運算的特性，應(yīng)用Spark計算框架基于內(nèi)存的計算方式，設(shè)計出SC-Kmeans的并行化算法Spark SC-Kmean