基于Hadoop的密度聚類算法并行化分析與研究.pdf

1、隨著信息時(shí)代的快速發(fā)展，大量移動(dòng)網(wǎng)絡(luò)設(shè)備不斷增加，與設(shè)備功能相關(guān)的數(shù)據(jù)量呈現(xiàn)爆炸式的增長(zhǎng)，包括社會(huì)生產(chǎn)數(shù)據(jù)和科學(xué)數(shù)據(jù)。學(xué)術(shù)界和工業(yè)界都對(duì)如何從海量數(shù)據(jù)中獲取知識(shí)有迫切需求。
　　本文通過(guò)對(duì)DBSCAN密度聚類算法進(jìn)行深入研究后，針對(duì)傳統(tǒng)DBSCAN算法的計(jì)算時(shí)間復(fù)雜度高和對(duì)中文地址信息處理較困難兩個(gè)缺點(diǎn)進(jìn)行改進(jìn)提高。一是設(shè)計(jì)出一個(gè)中文地址數(shù)據(jù)的去“噪聲數(shù)據(jù)”和映射中文地址數(shù)據(jù)的流程;二是遷移傳統(tǒng)DBSCAN算法，使其符合MapRe

2、duce編程模式;三是為了提高數(shù)據(jù)劃分的效率，在數(shù)據(jù)分區(qū)算法PRBP的基礎(chǔ)上提出一種新的數(shù)據(jù)分區(qū)算法PRBP-DI(PRBP-Double Index)。最后將改進(jìn)的算法運(yùn)行在Hadoop2.2云計(jì)算平臺(tái)上。
　　實(shí)驗(yàn)結(jié)果表明，原始數(shù)據(jù)經(jīng)過(guò)去“噪聲數(shù)據(jù)”和映射中文地址數(shù)據(jù)的預(yù)處理后，得到了只包含待研究數(shù)據(jù)的ID和經(jīng)緯度屬性值。并且提取的數(shù)據(jù)映射到二維空間的圖形與中文地址代表的具體地址相同，通過(guò)反向映射可得到原中文地址，說(shuō)明中文地址