基于MapReduce的Data Cube相關(guān)技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和信息技術(shù)產(chǎn)業(yè)的迅速崛起，由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來(lái)越龐大，大數(shù)據(jù)包含了更多有用的信息，也帶來(lái)了更多的挑戰(zhàn)。聯(lián)機(jī)分析處理(On-Line Analytical Processing，OLAP)作為存儲(chǔ)和分析數(shù)據(jù)的重要技術(shù)，需要存儲(chǔ)和處理的數(shù)據(jù)量也在大規(guī)模地急劇增長(zhǎng)。Data Cube是OLAP的主要分析手段，如何高效處理Data Cube中所包含的大規(guī)模數(shù)據(jù)是OLAP研究和應(yīng)用領(lǐng)域的一個(gè)關(guān)鍵問(wèn)題。由Google公司提出的

2、MapReduce是一種能夠在大型計(jì)算機(jī)集群上并行處理海量數(shù)據(jù)的框架模型，基于這種分布式并行框架，本文實(shí)現(xiàn)了對(duì)Data Cube的并行聚類(lèi)、更新和查詢(xún)。本文的主要研究工作及所取得的創(chuàng)新性成果有:
　　 (1) Data Cube的并行聚類(lèi):根據(jù)Data Cube的語(yǔ)義特性和多維數(shù)據(jù)之間的等價(jià)關(guān)系，提出了一種基于MapReduce框架的并行語(yǔ)義Cube層次聚類(lèi)算法。該算法能將Data Cube快速聚類(lèi)，最終保存等價(jià)類(lèi)的上下界來(lái)實(shí)現(xiàn)

3、對(duì)Data Cube的壓縮存儲(chǔ)。該方法不但節(jié)省了存儲(chǔ)空間、加快了聚類(lèi)速度，而且其保存的聚類(lèi)信息及層次信息為Data Cube中數(shù)據(jù)的快速更新和OLAP查詢(xún)行為分析的實(shí)現(xiàn)提供了可能。
　　 (2) Data Cube層次聚類(lèi)的增量維護(hù):以Data Cube等價(jià)類(lèi)為基礎(chǔ)，結(jié)合等價(jià)類(lèi)之間的層次關(guān)系，在MapReduce并行框架上提出了一種高效的Data Cube批量更新算法，有效地解決了數(shù)據(jù)量過(guò)大導(dǎo)致維護(hù)效率太低的問(wèn)題。
　　

4、 (3)并行的OLAP查詢(xún):在Data Cube等價(jià)類(lèi)的基礎(chǔ)上，對(duì)OLAP點(diǎn)查詢(xún)和范圍查詢(xún)進(jìn)行了并行優(yōu)化，并在改進(jìn)的MapReduce模型中，提出了一種基于緩存的OLAP查詢(xún)優(yōu)化算法，通過(guò)定義OLAP查詢(xún)中的各種運(yùn)算，并行地進(jìn)行多個(gè)OLAP查詢(xún)，提高了查詢(xún)的效率。
　　 本文詳細(xì)分析了語(yǔ)義Cube各種操作的并行化實(shí)現(xiàn)。設(shè)計(jì)了這些操作在MapReduce模型下的實(shí)現(xiàn)方案，并將并行算法與傳統(tǒng)算法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果證明了并行算法的優(yōu)