基于MapReduce的可視化數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)飛速發(fā)展的進(jìn)程中，越來(lái)越多的企業(yè)使用大數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行分析和評(píng)估。數(shù)據(jù)分析師需要使用MapReduce等計(jì)算框架對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總后對(duì)其進(jìn)行分析，然而大多數(shù)的數(shù)據(jù)分析師都知道如今最流行的Hadoop計(jì)算框架卻并不能熟練地使用Hadoop的工作命令對(duì)計(jì)算任務(wù)進(jìn)行操作。對(duì)于MapReduce的使用往往需要非常專業(yè)的云計(jì)算工程師完成，而Hadoop的學(xué)習(xí)過(guò)程又極其復(fù)雜，學(xué)習(xí)周期較長(zhǎng)，這使得數(shù)據(jù)分析師使用MapReduce的難度很大。另一

2、方面，人工進(jìn)行MapReduce操作，由于各種主觀因素經(jīng)常導(dǎo)致任務(wù)失敗或錯(cuò)誤。雖然針對(duì)MapRed uce設(shè)計(jì)的工作流引擎產(chǎn)品存在，但是該類產(chǎn)品都是使用指令行進(jìn)行操作，均缺少工程項(xiàng)目所需的可視化操作環(huán)境，部署和操作均十分復(fù)雜。針對(duì)上述問題，本文設(shè)計(jì)了可視化的平臺(tái)并結(jié)合可視化轉(zhuǎn)化XML算法，本文主要工作包括三個(gè)方面：
　　1.提供可視化的操作界面，通過(guò)定義工作流程圖形的方式，對(duì)MapRed uce作業(yè)進(jìn)行部署。數(shù)據(jù)分析員面對(duì)大數(shù)據(jù)信

3、息處理的情況下，通過(guò)使用可視化工具對(duì)多個(gè)MapReduce作業(yè)進(jìn)行定義和部署，無(wú)需關(guān)心后臺(tái)程序的實(shí)際操作。通過(guò)對(duì)用戶可視化操作分析，提出了用戶工作空間概念，包含團(tuán)隊(duì)文件共享和用戶流程圖管理的應(yīng)用模塊。任務(wù)提交后，利用Oozie的反饋機(jī)制，設(shè)計(jì)實(shí)現(xiàn)了可視化的流程狀態(tài)查詢模塊，方便可視化管理MapReduce工作流程作業(yè)。
　　2.闡述了工作流引擎和MapRed uce計(jì)算框架的基本概念和原理的基礎(chǔ)上，介紹了可視化與XM L文檔轉(zhuǎn)換算

4、法，設(shè)計(jì)并闡述了XDWE基本運(yùn)行流程及相關(guān)技術(shù)。針對(duì)工作流程可視化操作，提出工作流程向XML文檔轉(zhuǎn)換算法，同時(shí)為管理工作流程圖提出XM L文檔向工作流程反向轉(zhuǎn)換算法。針對(duì)Map Red uce工作流程分析，設(shè)計(jì)了XDWE模塊對(duì)工作流程進(jìn)行部署。
　　3.分析了可視化數(shù)據(jù)處理平臺(tái)的業(yè)務(wù)流程和應(yīng)用需求，分別對(duì)該系統(tǒng)的數(shù)據(jù)和過(guò)程進(jìn)行數(shù)據(jù)建模。在此基礎(chǔ)上，建立了系統(tǒng)的總體應(yīng)用框架。設(shè)計(jì)了系統(tǒng)多個(gè)功能模塊并進(jìn)行詳細(xì)的代碼設(shè)計(jì)、數(shù)據(jù)庫(kù)設(shè)計(jì)、輸

5、入輸出設(shè)計(jì)，滿足相應(yīng)的設(shè)計(jì)需求，最終實(shí)現(xiàn)了可視化數(shù)據(jù)處理平臺(tái)。系統(tǒng)己經(jīng)過(guò)測(cè)試并初步應(yīng)用，運(yùn)行狀況良好。
　　本文討論了可視化操作和工作流引擎的相關(guān)理論，結(jié)合企業(yè)的實(shí)際使用背景，設(shè)計(jì)了符合企業(yè)實(shí)際需求的可視化處理系統(tǒng)，并利用相關(guān)技術(shù)實(shí)現(xiàn)該工程系統(tǒng)。系統(tǒng)的應(yīng)用將會(huì)使得數(shù)據(jù)分析人員對(duì)數(shù)據(jù)處理進(jìn)行透明操作。只需要將處理流程以流程圖的形式呈現(xiàn)，即可得到想要的數(shù)據(jù)處理信息。通過(guò)平臺(tái)測(cè)試可知平臺(tái)運(yùn)行效率比單獨(dú)使用指令運(yùn)行MapReduce低，但