基于Hadoop的電信社交網(wǎng)絡(luò)研究與分析.pdf

1、電信擁有海量的客戶數(shù)據(jù)，包含著大量的潛在價(jià)值。隨著結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的不斷增長(zhǎng)，電信行業(yè)處理海量數(shù)據(jù)的效率越來越低，難以對(duì)海量數(shù)據(jù)進(jìn)行深度挖掘。云計(jì)算的發(fā)展有效地解決了這個(gè)難題，開源的Hadoop云平臺(tái)被廣泛應(yīng)用到各個(gè)領(lǐng)域，提高了云端處理數(shù)據(jù)的能力。將電信的原有數(shù)據(jù)倉(cāng)庫(kù)遷移到 Hadoop云平臺(tái)上，充分利用分布式存儲(chǔ)機(jī)制和MapReduce模型，挖掘電信的社交網(wǎng)絡(luò)，在低成本的情況下提升數(shù)據(jù)處理能力。
　　本論文首先介紹 Hado

2、op云平臺(tái)的基本理論知識(shí)，在此基礎(chǔ)上介紹電信數(shù)據(jù)倉(cāng)庫(kù)的云平臺(tái)架構(gòu)，分析電信社交網(wǎng)絡(luò)的研究現(xiàn)狀。本文主要通過兩部分提高電信交往圈的挖掘效率：首先通過分析文件的流行度改進(jìn) Hadoop數(shù)據(jù)備份機(jī)制，實(shí)現(xiàn)動(dòng)態(tài)文件存儲(chǔ)和備份，提高文件的本地性，提升ETL（提取、轉(zhuǎn)換和加載）效率，從而減少數(shù)據(jù)挖掘過程中數(shù)據(jù)預(yù)處理的時(shí)間；其次改進(jìn)原有圖算法，結(jié)合有向圖和無向圖，將原有圖算法用MapReduce框架實(shí)現(xiàn)，高效、準(zhǔn)確地挖掘社區(qū)，通過Hadoop平臺(tái)的試