流式數(shù)據(jù)的并行聚類算法研究.pdf

1、隨著計(jì)算機(jī)、移動(dòng)和物聯(lián)網(wǎng)設(shè)備的普及，各類網(wǎng)絡(luò)應(yīng)用逐漸泛在化，由此產(chǎn)生了大量多源、異構(gòu)的流式數(shù)據(jù)，如網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)、股票數(shù)據(jù)和天氣監(jiān)測(cè)數(shù)據(jù)等。流式數(shù)據(jù)具有多樣化、時(shí)序性、海量、連續(xù)到達(dá)、潛在無限等特點(diǎn)，從而使基于流式數(shù)據(jù)的挖掘任務(wù)變得更加復(fù)雜，且富有挑戰(zhàn)性。聚類作為一種無監(jiān)督的學(xué)習(xí)方式，是數(shù)據(jù)挖掘的一種重要方法，它能根據(jù)數(shù)據(jù)間的相似性對(duì)數(shù)據(jù)進(jìn)行劃分，并根據(jù)劃分結(jié)果對(duì)數(shù)據(jù)進(jìn)行歸類，從而有助于從海量數(shù)據(jù)中提取潛藏的、未知的、有價(jià)值信息。

2、　　基于流數(shù)據(jù)的數(shù)據(jù)挖掘一方面限制于有限的主存空間和低下的磁盤I/O效率，不能將數(shù)據(jù)全部持久化存儲(chǔ)；另一方面則受流式數(shù)據(jù)處理方法的制約，不能實(shí)時(shí)、在線挖掘。因而，如何實(shí)時(shí)、高效、可靠地處理流式數(shù)據(jù)，成為了數(shù)據(jù)挖掘方面一個(gè)值得關(guān)注的難點(diǎn)問題。近年來，并行與分布式計(jì)算、集群架構(gòu)及其相關(guān)技術(shù)的迅速普及與應(yīng)用，為解決大規(guī)模流式數(shù)據(jù)的實(shí)時(shí)挖掘帶來了曙光。本文將并行化的思想引入到流數(shù)據(jù)的聚類處理中，在分布式內(nèi)存計(jì)算框架Spark下將聚類算法并行化，

3、實(shí)現(xiàn)數(shù)據(jù)在多臺(tái)計(jì)算機(jī)上的并行處理，從而提供高吞吐量、高容錯(cuò)性的實(shí)時(shí)處理。本文具體研究?jī)?nèi)容如下：
　?。?）針對(duì)流式數(shù)據(jù)特點(diǎn)，對(duì)流式數(shù)據(jù)聚類算法進(jìn)行了詳細(xì)研究，給出了流式數(shù)據(jù)聚類算法的分類，分析了分布式計(jì)算框架Hadoop上MapReduce編程模型的工作原理和實(shí)現(xiàn)機(jī)制，并在流數(shù)據(jù)處理方面與分布式內(nèi)存計(jì)算框架Spark進(jìn)行了比較，總結(jié)了Spark具有的并行處理優(yōu)勢(shì)。
　?。?）在研究 CluStream算法的基礎(chǔ)上，針對(duì)數(shù)據(jù)處

4、理時(shí)的時(shí)效性和算法參數(shù)敏感性問題，提出了一種針對(duì)流數(shù)據(jù)的基于變長(zhǎng)滑動(dòng)窗口和遺傳算法相結(jié)合的CluWin-GA聚類算法。實(shí)驗(yàn)分析表明，該算法具有良好的時(shí)效性和可靠性，是一種具有動(dòng)態(tài)自適應(yīng)能力的流數(shù)據(jù)聚類新算法。
　?。?）將內(nèi)存計(jì)算及并行化理念引入到流數(shù)據(jù)聚類過程中，繼而應(yīng)用Spark分布式計(jì)算框架改進(jìn)了流數(shù)據(jù)聚類算法的并行化策略。借助Spark平臺(tái)，本文實(shí)現(xiàn)了CluStream算法以及改進(jìn)算法CluWin-GA的聚類并行化。結(jié)果表