搭建基于云計算的海量數(shù)據(jù)挖掘平臺 研究實現(xiàn)

1、搭建基于云計算的開源海量數(shù)據(jù)挖掘平臺搭建基于云計算的開源海量數(shù)據(jù)挖掘平臺趙華茗（中國科學院國家科學圖書館北京100190）【摘要】本文通過分析亞馬遜彈性MapReduce(EMR)平臺構架，針對信息情報機構內部數(shù)據(jù)處理的迫切需求，提出通過開源技術XEN和Hadoop平臺構建基于云計算的動態(tài)可伸縮的海量數(shù)據(jù)處理平臺并給出了實施方案、海量文本數(shù)據(jù)處理案例和開源EMR平臺的優(yōu)勢分析。實施方案主要分為三部分:一、搭建動態(tài)虛擬的云計算環(huán)境，二、安

2、裝制作HADOOP虛擬服務器模板，三、配置運行Cloudera和ClouderaDesktop。通過開源EMR架構的應用，可以效解決服務器蔓延問題，提高網(wǎng)絡計算資源的利用效率和分布式數(shù)據(jù)挖掘服務的快速布署能力及靈活性?！娟P鍵詞】云計算海量數(shù)據(jù)挖掘虛擬技術分布式計算xenClouderaHadoop【分類號】TP393BuildingBuildingthetheOpenOpenSourceSourceMassMassDataDataMin

3、ingMiningPlatfmPlatfmBasedBasedononCloudCloudComputingComputingZhaoHuaming（NationalScienceLibrary，ChineseAcademyofSciences，Beijing100190，China）【Abstract】Aimstomeettheinternaldataprocessingneedsofinfmationganizationsthisp

4、aperbyanalyzingtheframewksofAmazonelasticmapreduce(EMR)platfmputsfwardtobuildthedynamicelasticopensourcemassdataminingplatfmbasedonCloudComputingprovidesaroadmapofsuccessfulimplementationanexampleofmassivetextdataprocess

5、ingtheanalysisofadvantageofopensourceEMRplatfm.Thisimplementationplanincludesthreeparts:1.buildingdynamicvirtualenvironmentofcloudcomputing2.creatingthevirtualservertemplateofHADOOP3.deployingrunningClouderaClouderaDeskt

6、op.ThroughtheapplicationoftheopensourceEMRplatfmwecansolvetheproblemofserversprawleffectivelytoimproveutilizationratioofwkcomputingresourcetoenhancetherapiddeploymentcapabilityagilityofdistributeddataprocessingservices.【

7、Keywds】cloudcomputingmassdataminingvirtualizationdistributedcomputingxenClouderaHadoop1引言引言互聯(lián)網(wǎng)促進了信息流通，也帶來了信息的爆炸式增長，最新的IDC的研究報告指出2010年全球信息量將進入ZB時代，并且每年以60%的速度在上升，這意味著每18個月全球信息數(shù)據(jù)量將被翻倍[1]。面對不斷拓展的驚人的數(shù)據(jù)規(guī)模，海量信息的存儲與管理、實時處理、數(shù)據(jù)搜索

8、、數(shù)據(jù)挖掘與智能應用等等信息處理能力面臨新的挑戰(zhàn)，信息技術架構迫切需要以動態(tài)可伸縮為特點的支持海量數(shù)據(jù)處理的新的存儲計算模式的支持。云計算因為其彈性可伸縮的計算模式，受到以IBM、亞馬遜、谷歌等為代表的眾多高科技公司的重視，成為各公司應對海量信息處理的利器。近年來，2.3免費的虛擬機管理平臺XENServer虛擬技術是云計算基礎構架技術，也是文本搭建開源EMR平臺的基礎構架技術。目前，典型的虛擬機技術實現(xiàn)有CritrixXenServe

9、r[78]、VMwareESXServer[9]、MicrosoftHyperV[7]等。相較其他兩種，CitrixXENServer的虛擬機的性能更接近真實硬件環(huán)境，硬件支持廣泛，具有更好安全性、兼容性和開源性，也是本文選用的主要原因。3搭建開源搭建開源EMREMR環(huán)境環(huán)境本文設計的開源EMR平臺包括虛擬云平臺和分布式計算平臺兩部分，其整體架構圖如圖2所示。虛擬云平臺是一個基于網(wǎng)絡的動態(tài)可伸縮的虛擬設備環(huán)境，彈性管理網(wǎng)絡設備資源，如：

10、動態(tài)調配物理設備資源、存儲設備資源及動態(tài)創(chuàng)建的HADOOP虛擬服務器，有效支持對計算資源的規(guī)?；s化管理。虛擬云平臺本文使用XENServer和XENCenter軟件實現(xiàn)。而分布式計算環(huán)境是一個基于HadoopMapReduce框架的開源大數(shù)據(jù)并行計算環(huán)境，本文選用Cloudera和ClouderaDesktop軟件實現(xiàn)，ClouderaDesktop是一個訪問控制接口，提供基于火狐瀏覽器的簡單界面。開源EMR的實現(xiàn)過程可以分為三部分

11、。一、搭建動態(tài)虛擬的云計算環(huán)境，二、安裝制作HADOOP虛擬服務器模板，三、配置運行Cloudera和ClouderaDesktop。第一部分是虛擬云環(huán)境，第二、三部分是分布式計算環(huán)境。XenXenXenhypervishypervishypervis服務器服務器服務器模板模板模板NameNameNamenodenodenodeXenCenterXenCenterXenCenter虛擬云環(huán)境虛擬云環(huán)境虛擬云環(huán)境DataDataDatan

12、odenodenode腳本腳本腳本……分布式環(huán)境分布式環(huán)境分布式環(huán)境CDesktopCDesktopCDesktop網(wǎng)絡網(wǎng)絡網(wǎng)絡存儲設備存儲設備存儲設備圖2開源EMR整體構架圖3.1搭建動態(tài)虛擬的云計算環(huán)境通過XENServer和XENCenter軟件搭建動態(tài)虛擬的云計算環(huán)境的過程較復雜[10]。主要注意事項如下：（1）XENServer要求安裝在64位X86服務器上（因為，32位服務器將不支持64位的虛擬機），并且不支持多系統(tǒng)，不支持