基于云平臺(tái)的OLAP系統(tǒng)研究與實(shí)現(xiàn).pdf

1、云計(jì)算技術(shù)的出現(xiàn)為海量數(shù)據(jù)的處理提供了良好的解決方案。為了進(jìn)一步促進(jìn)我國海洋信息化工作的發(fā)展，國家海洋局采用云計(jì)算技術(shù)來構(gòu)建海洋環(huán)境信息綜合服務(wù)應(yīng)用框架體系，它可以提高海洋資源信息的可重用性與共享性，以及應(yīng)用系統(tǒng)的可擴(kuò)展性。本文依托于國家海洋公益性項(xiàng)目搭建了一個(gè)基于云平臺(tái)的OLAP系統(tǒng)，該系統(tǒng)可以向用戶提供多維視圖，使用戶從多個(gè)角度、多個(gè)側(cè)面、多個(gè)層次考察和分析數(shù)據(jù)，深入理解數(shù)據(jù)中的信息及其內(nèi)涵。
　　現(xiàn)有的OLAP系統(tǒng)在處理大規(guī)

2、模數(shù)據(jù)集時(shí)，存在數(shù)據(jù)處理效率慢及數(shù)據(jù)信息丟失等問題，效率和容量成為現(xiàn)有OLAP系統(tǒng)的最大瓶頸。基于云平臺(tái)的OLAP系統(tǒng)不僅能夠存儲(chǔ)海量數(shù)據(jù)，還可以并行計(jì)算數(shù)據(jù)立方，提高計(jì)算效率，減小系統(tǒng)響應(yīng)時(shí)間。基于云平臺(tái)的OLAP系統(tǒng)分為三個(gè)層次。分別是存儲(chǔ)層，OLAP引擎層和應(yīng)用層。存儲(chǔ)層采用數(shù)據(jù)倉庫Hive進(jìn)行數(shù)據(jù)存儲(chǔ)，并根據(jù)OLAP引擎Mondrian所提供的JDBC通用接口方法，利用JAVA語言實(shí)現(xiàn)了一個(gè)Hive方言類——HiveDialec

3、t，將Mondrian生成的SQL語句轉(zhuǎn)換成符合Hive操作格式的類SQL的HiveQL語句，實(shí)現(xiàn)了OLAP引擎對存儲(chǔ)層數(shù)據(jù)存取操作。OLAP引擎層利用開源項(xiàng)目Mondrian實(shí)現(xiàn)物理模型與多維模型的映射，完成了多維數(shù)據(jù)集的創(chuàng)建以及MDX語句的解析。應(yīng)用層采用自定義標(biāo)簽庫JPivot實(shí)現(xiàn)，利用JSP標(biāo)簽庫來提供執(zhí)行OLAP操作的相關(guān)按鈕和完成數(shù)據(jù)展示功能，并且提供JDBC接口與底層數(shù)據(jù)模型建立連接。
　　根據(jù)項(xiàng)目需求，OLAP系統(tǒng)

4、需要提供給用戶一個(gè)基于云平臺(tái)的分類挖掘算法庫，幫助用戶進(jìn)一步完成對數(shù)據(jù)的挖掘和分析?，F(xiàn)有的分布式機(jī)器學(xué)習(xí)算法庫Mahout，提供了一些經(jīng)典的分類挖掘算法，如貝葉斯、決策樹等。而學(xué)習(xí)速度快，泛化性能好的在線貫序?qū)W習(xí)機(jī)(OS-ELM)算法并沒有在云平臺(tái)實(shí)現(xiàn)。本文對OS-ELM算法進(jìn)行分析，利用MapReduce編程框架實(shí)現(xiàn)了OS-ELM算法的并行化處理，設(shè)計(jì)了一種基于Map-Reduce的OS-ELM算法，即MOS-ELM。實(shí)驗(yàn)表明，MOS