面向大數(shù)據(jù)處理的分布式系統(tǒng)性能優(yōu)化與功能增強(qiáng).pdf

1、Hadoop是對大規(guī)模數(shù)據(jù)進(jìn)行分布式處理的軟件框架，是一種實現(xiàn)云計算和云存儲的分布式計算平臺。在不知曉分布式架構(gòu)的具體細(xì)節(jié)狀況下，用戶能開發(fā)和運行分布式應(yīng)用。Hadoop充分利用廉價計算機(jī)集群，對海量數(shù)據(jù)存儲和運算，具有可靠、容錯、高效和可擴(kuò)展的特點。為了滿足企業(yè)業(yè)務(wù)的需求，一些企業(yè)在使用現(xiàn)有Hadoop平臺的同時，也在開發(fā)和優(yōu)化現(xiàn)有Hadoop技術(shù)。Hadoop生態(tài)要支撐各類數(shù)據(jù)的處理，就需要對Hadoop進(jìn)行補(bǔ)充，以增強(qiáng)其功能。因此

2、，在Hadoop已有性能優(yōu)化的基礎(chǔ)上，設(shè)計有效的方案分別從數(shù)據(jù)、應(yīng)用和安全三個層面上來增強(qiáng)分布式系統(tǒng)Hadoop的相應(yīng)功能具有重要的意義。
　　Hadoop已成為大數(shù)據(jù)處理的關(guān)鍵部件，并獲得了工業(yè)界的支持。然而，海量的小文件，嚴(yán)重制約著HDFS的性能，同時，MapReduce在其他類型作業(yè)中體現(xiàn)的不足也愈加明顯，加之系統(tǒng)默認(rèn)FIFO算法對用戶提交作業(yè)不作區(qū)別等問題。需要了解系統(tǒng)已有的MapReduce并行計算框架優(yōu)化、作業(yè)調(diào)度優(yōu)化

3、和HDFS性能優(yōu)化研究現(xiàn)狀，分析這些技術(shù)的優(yōu)勢和不足，為后續(xù)的改進(jìn)打下基礎(chǔ)。
　　Hadoop任務(wù)調(diào)度的目標(biāo)是盡可能多的考慮數(shù)據(jù)本地性（包括節(jié)點本地性和機(jī)架本地性）。然而由于調(diào)度的隨機(jī)性，原生系統(tǒng)并不能保證良好的節(jié)點本地性。如何保障節(jié)點本地性是提升Hadoop數(shù)據(jù)處理實時性的一個關(guān)鍵問題。數(shù)據(jù)預(yù)取是一種預(yù)先從其它節(jié)點讀入待處理數(shù)據(jù)、改善數(shù)據(jù)本地性、隱藏數(shù)據(jù)訪問延遲的有效方法。為了保證良好的節(jié)點本地性，結(jié)合Hadoop任務(wù)調(diào)度理念提

4、出一種有效的數(shù)據(jù)預(yù)取策略，通過副本約簡算法，約簡出節(jié)點上可能的本地化數(shù)據(jù)塊任務(wù)序列，從全局上明確預(yù)取數(shù)據(jù)對象，提升數(shù)據(jù)塊分布不均勻和節(jié)點數(shù)據(jù)處理能力各異狀態(tài)下的集群處理性能。相比Hadoop原生的數(shù)據(jù)本地性機(jī)制，所提出的數(shù)據(jù)預(yù)取策略提高了數(shù)據(jù)本地化率，并減少了數(shù)據(jù)處理時間。
　　Hadoop主流版本并沒有考慮數(shù)據(jù)存儲的層次問題，因此一些常規(guī)的應(yīng)用（如搜索引擎）試圖采用快速存取設(shè)備SSD去改善讀取性能，但性價比并不高。緩存是一種大數(shù)

5、據(jù)檢索的有效優(yōu)化手段。而數(shù)據(jù)選擇策略能夠放置合適的數(shù)據(jù)于內(nèi)存緩存中。在Hadoop平臺中引入快速存取設(shè)備SSD，設(shè)計基于SSD的分布式混合存儲結(jié)構(gòu)，并提出一種基于背包的有效數(shù)據(jù)選擇策略，該策略視緩存介質(zhì)為背包，視檢索結(jié)果和倒排列表為物品。通過貪婪算法，在不同的存儲架構(gòu)下，改善了檢索的性能，同時也能減少SSD的磨損。實驗結(jié)果表明，提出的EDS策略相比其它策略有最高的命中率，并有效降低了平均查詢延時。
　　作為大數(shù)據(jù)處理和存儲的主流平

6、臺，Hadoop不僅需要處理非敏感數(shù)據(jù)，也需要處理和存儲海量的用戶敏感數(shù)據(jù)。這些敏感數(shù)據(jù)的共享有助于企業(yè)降低為用戶提供個性化服務(wù)的成本，實現(xiàn)數(shù)據(jù)增值，而敏感數(shù)據(jù)的安全共享是增強(qiáng)Hadoop功能亟待解決的問題。通過分析敏感數(shù)據(jù)安全共享的現(xiàn)狀，提出了一種大數(shù)據(jù)平臺敏感數(shù)據(jù)安全共享系統(tǒng)框架，包括數(shù)據(jù)平臺上敏感數(shù)據(jù)的安全提交、存儲、使用和銷毀；研究了基于密文異構(gòu)轉(zhuǎn)化的代理重加密算法和基于虛擬機(jī)監(jiān)控器的用戶進(jìn)程保護(hù)方法等關(guān)鍵技術(shù)，為系統(tǒng)安全功能的