云環(huán)境下本地大規(guī)模數(shù)據(jù)處理的體系結(jié)構(gòu)研究.pdf

1、本文為解決云服務(wù)供應(yīng)商所面臨的基本數(shù)據(jù)管理挑戰(zhàn)，對(duì)大規(guī)模云環(huán)境下計(jì)算基礎(chǔ)設(shè)施所產(chǎn)生的半結(jié)構(gòu)化日志數(shù)據(jù)的分析處理工作做了進(jìn)一步深入研究。分析處理工作是云服務(wù)供應(yīng)商業(yè)務(wù)的一個(gè)重要方面，通過挖掘用戶的行為模式和確保有效地利用資源都能讓云服務(wù)供應(yīng)商處于競(jìng)爭(zhēng)優(yōu)勢(shì)地位。然而，云計(jì)算環(huán)境中產(chǎn)生的數(shù)據(jù)量正在以比摩爾定律更快的速度迅速增加，海量的數(shù)據(jù)使分析處理工作顯得更加困難。為解決大數(shù)據(jù)的分析處理工作，目前的大部分方法是將數(shù)據(jù)轉(zhuǎn)移到中心位置，然后再分析

2、，這種方式將產(chǎn)生顯著的額外成本和時(shí)延。隨著云計(jì)算環(huán)境規(guī)模的增加，僅數(shù)據(jù)遷移的時(shí)間和成本問題，都會(huì)使這些方法不可行。
　　本文提出了持續(xù)的MapReduce(ContinuousMapReduce，CMR)，一種本地處理大型數(shù)據(jù)的體系結(jié)構(gòu)。為了更好地處理成千上萬數(shù)據(jù)中心服務(wù)器的大量日志，CMR被設(shè)計(jì)成可擴(kuò)展的，響應(yīng)迅速的和高度有效的高性能體系結(jié)構(gòu)。CMR擴(kuò)展了MapReduee編程模型，在分布式流處理概念的基礎(chǔ)上，允許在這些大數(shù)據(jù)流

3、中持續(xù)查詢。CMR突出的結(jié)構(gòu)特征分別包括本地處理的方法，帶滑動(dòng)塊窗口的增量處理，以及放寬的一致性模型。
　　本文使用Mortar操作建立了一個(gè)原型CMR的體系結(jié)構(gòu)，一個(gè)分布式流處理器，并通過與當(dāng)前批處理系統(tǒng)進(jìn)行對(duì)比，對(duì)其進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明，對(duì)于批查詢或持續(xù)查詢，這種分布式流處理器方法可以減少30％的結(jié)果延遲。此外，CMR的一致性模型，使其在節(jié)點(diǎn)部分失效情況下能夠快速返回處理結(jié)果，并且仍然能保持較高的結(jié)果精確性。通過以上實(shí)驗(yàn)結(jié)果