基于Hadoop平臺的本地化計算策略研究.pdf

1、大規(guī)模數據處理是云計算平臺不可缺少的關鍵模塊。Hadoop是一款適用于大規(guī)模數據集的分布式并行計算平臺，其核心模塊之一是集群中的資源調度，它是影響Hadoop集群性能的關鍵。隨著數據規(guī)模的爆炸式增長，數據密集型計算是一種普遍的需要，也是Hadoop集群亟需解決的問題。由于數據的分布式存儲，通過移動數據來進行計算已成為Hadoop集群系統發(fā)展的瓶頸。已有的研究表明，實現本地化計算即移動計算而不是移動數據是突破瓶頸的一種有效方式。
　

2、　Hadoop中將數據存儲在不同的節(jié)點上，若干節(jié)點組成機架。本文的研究中，將本地化計算分成節(jié)點本地化計算和機架本地化計算兩個層次。開展的研究工作主要包括：
　?、儆懻摿擞嬎阒匈Y源需求的異構性，給出了一種資源表示方法。為區(qū)分計算對資源的不同需求，討論了主導資源及其作用。
　?、谘芯亢头治隽酥鲗зY源公平調度策略DRF（DominantResourceFairness）。DRF不同于Hadoop基于slot-based的公平調度器

3、（FairScheduler）和能力調度器（CapacityScheduler），能夠獲得系統更好的吞吐量。然而DRF確不具備計算本地化特征。
　?、垩芯苛薉elay調度約束策略，詳細分析了最大延遲間隔D與計算本地化程度的關系。獲得了本地化計算任務的等待時間、平均時間長度及節(jié)點資源量間的關系。
　　④結合計算本地化和調度公平性，提出一種滿足本地化計算的集群資源調度算法DDRF（Delay-DominantResourceFa

4、irness）。DDRF算法既能達到一個較高地本地化計算程度，又能保證資源調度公平。通過數據實驗分析了DDRF算法對作業(yè)平均延長時間、本地化計算程度的影響。
　?、菅芯苛嗽破脚_環(huán)境下SaaS（SoftwareasaService）以SOA（Service-OrientedArchitecture）架構的實現模式。給出了一種基于SOA架構的應用開發(fā)流程。結合整數查詢、點對查詢、單詞查詢、生成樹查詢等實際問題，分析Top-K查詢應用和