MapReduce上在線聚集函數(shù)的應(yīng)用研究.pdf

1、Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式系統(tǒng)。充分利用集群的高速運(yùn)算和存儲(chǔ)能力。因?yàn)槠浜?jiǎn)單的編程結(jié)構(gòu)和對(duì)大數(shù)據(jù)的支持而被廣泛應(yīng)用。同時(shí)，Hadoop也有其缺點(diǎn)，那就是響應(yīng)時(shí)間非常高，只有全部數(shù)據(jù)都處理完后才可以得到最終結(jié)果，中間無法給出中間結(jié)果。很多應(yīng)用中，用戶希望在程序處理過程中不斷的得到相似的中間結(jié)果。對(duì)于這類應(yīng)用，傳統(tǒng)的Hadoop是不能滿足這種需求。UC Berkeley的Tyso

2、n Condie等人基于MapReduceOnline論文實(shí)現(xiàn)了.Hadoop Online Prototype(HOP)系統(tǒng)，利用“snapshot”技術(shù)實(shí)現(xiàn)了Hadoop在運(yùn)行過程中產(chǎn)生中間結(jié)果。HOP通過Map將分批次將結(jié)果傳輸給Reduce，Reduce接收到部分?jǐn)?shù)據(jù)并計(jì)算來產(chǎn)生中間結(jié)果。其中，Map傳輸?shù)慕Y(jié)果是目前運(yùn)行產(chǎn)生的所有結(jié)果，Reduce每次給出中間結(jié)果都是要將所有的數(shù)據(jù)都重新計(jì)算一遍并產(chǎn)生中間結(jié)果。
　　本文提

3、出一種對(duì)Hadoop產(chǎn)生中間結(jié)果的另一種思路:Online MapReduceAggregation，Map通過傳遞一部分用戶自定義數(shù)據(jù)傳輸給Reduce。Reduce收到這部分用戶自定義數(shù)據(jù)格式并去產(chǎn)生中間結(jié)果。
　　本文設(shè)計(jì)了一個(gè)新的系統(tǒng):Online MapReduce Aggregation。提出了獲得Hadoop中間結(jié)果的另一種思路:Map維護(hù)著一個(gè)用戶自定義數(shù)據(jù)結(jié)構(gòu)，每隔一段時(shí)間Map都會(huì)將此數(shù)據(jù)結(jié)構(gòu)傳遞給Reduce