并行化流式數(shù)據(jù)聚類及其在交通熱點(diǎn)挖掘中的應(yīng)用.pdf

1、隨著交通、GPS監(jiān)控等方面數(shù)據(jù)量的海量增長(zhǎng),伴隨出現(xiàn)交通實(shí)時(shí)路況延時(shí)性、交通預(yù)測(cè)不準(zhǔn)確等現(xiàn)象,對(duì)流式數(shù)據(jù)的實(shí)時(shí)處理提出更高的要求,挖掘交通熱點(diǎn)區(qū)域成為交通領(lǐng)域研究熱點(diǎn);盡管目前對(duì)交通領(lǐng)域流式數(shù)據(jù)聚類的研究已取得顯著成就,但仍存在聚類時(shí)效性、伸縮性差,不可實(shí)現(xiàn)任意形狀類簇等缺點(diǎn)。因此,為高精度實(shí)時(shí)的挖掘交通熱點(diǎn)區(qū)域,減少城市交通擁堵和方便資源調(diào)度,提出兩階段快速流式數(shù)據(jù)聚類框架并在Storm集群下實(shí)現(xiàn)并行化。
　　本文提出的兩階段快

2、速流式數(shù)據(jù)聚類框架(Canopy-Kmeans,簡(jiǎn)稱CK)針對(duì)流式數(shù)據(jù),在線階段選擇改進(jìn)Canopy算法粗聚類產(chǎn)生宏簇并緩存概要信息;離線階段使用Kmeans算法細(xì)聚類;引入滑動(dòng)時(shí)間窗口并抽取概要信息以自動(dòng)確定Kmeans初始輸入和微簇時(shí)間標(biāo)志。為增加聚類實(shí)時(shí)性,將CK算法在Storm集群并行化,提出并行化流式數(shù)據(jù)聚類算法(Parallel-Canopy-Kmeans,簡(jiǎn)稱PCK)并實(shí)現(xiàn)。
　　為驗(yàn)證PCK算法性能,選取測(cè)試數(shù)據(jù)集

3、對(duì)PCK、CK、Kmeans進(jìn)行聚類就準(zhǔn)確性、執(zhí)行時(shí)間對(duì)比;對(duì)PCK自身就擴(kuò)展性對(duì)比。為提高交通熱點(diǎn)區(qū)域挖掘的可行性,選取北京市某七天的出租車定位數(shù)據(jù)模擬流式數(shù)據(jù),使用PCK算法聚類生成微簇集合并結(jié)合熱力圖和電子地圖可視化表達(dá)。實(shí)驗(yàn)結(jié)果表明:生成的交通熱力圖可直觀地發(fā)現(xiàn)出租車活動(dòng)較為頻繁的熱點(diǎn)區(qū)域和線路,且與日常出行經(jīng)驗(yàn)相符合;生成的微簇集合可實(shí)現(xiàn)用戶在任意時(shí)間窗口范圍內(nèi)交通狀況實(shí)時(shí)查詢,提高流式數(shù)據(jù)的聚類質(zhì)量的同時(shí)保證交通路況預(yù)測(cè)實(shí)時(shí)