基于BSP模型的圖計算預(yù)處理研究.pdf

1、隨著以互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)為標志的信息技術(shù)的飛速發(fā)展，信息數(shù)據(jù)量呈爆炸式增長，大數(shù)據(jù)處理技術(shù)得到了越來越廣泛的應(yīng)用，分布式圖計算也在社交網(wǎng)絡(luò)、電子商務(wù)、推薦系統(tǒng)等領(lǐng)域有著重要的實際應(yīng)用。Hadoop因其良好的可靠性與擴展性，成為了構(gòu)建大數(shù)據(jù)生態(tài)系統(tǒng)的核心組件。Hadoop在圖計算、機器學(xué)習(xí)等需要大量迭代式計算方面表現(xiàn)差勁，無法滿足大規(guī)模的圖計算需求，而基于BSP模型的圖計算框架彌補了Hadoop的不足。Apache Hama是一個

2、基于BSP模型的圖并行計算框架，因其發(fā)展時間短，圖計算預(yù)處理技術(shù)還需要改進。Hama的預(yù)處理流程無法滿足規(guī)模龐大、結(jié)構(gòu)復(fù)雜的圖數(shù)據(jù)處理。Hama預(yù)處理流程中未對圖數(shù)據(jù)進行均衡操作，數(shù)據(jù)分片機制存在缺陷。
　　本文的目的是提出一種基于BSP模型的圖計算預(yù)處理技術(shù)，彌補Hama預(yù)處理技術(shù)的缺點，改進預(yù)處理流程中的數(shù)據(jù)分片技術(shù)，提高集群資源的利用率，使得圖預(yù)處理適應(yīng)多種應(yīng)用場景的需要。本文的主要工作與貢獻如下所示：
　　本文深入分

3、析了現(xiàn)今主流的分布式圖計算框架及其發(fā)展趨勢，重點研究了Hadoop與Hama框架，分析介紹了Hama與Hadoop中使用到的HDFS與MapReduce的架構(gòu)與工作原理。文中對Hadoop與Hama的圖計算預(yù)處理流程進行深入對比，介紹了圖預(yù)處理流程中的數(shù)據(jù)分片機制的不同，同時分析了Hadoop與Hama圖計算預(yù)處理流程中數(shù)據(jù)分片技術(shù)存在的缺陷。
　　在上述研究成果的基礎(chǔ)上，提出了一種基于BSP模型的圖計算預(yù)處理技術(shù)，詳細介紹了預(yù)處