面向教育大數(shù)據(jù)的多維數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，大數(shù)據(jù)的巨大規(guī)模和復(fù)雜結(jié)構(gòu)給傳統(tǒng)的多維數(shù)據(jù)分析系統(tǒng)帶來了直接的挑戰(zhàn)，特別是在教育管理領(lǐng)域，不斷增長的業(yè)務(wù)數(shù)據(jù)使傳統(tǒng)的校情分析系統(tǒng)面臨很大的壓力，比如數(shù)據(jù)高速抽取和寫入時(shí)性能不足，在大數(shù)據(jù)規(guī)模下的查詢效率低下，以及無法提供對(duì)非結(jié)構(gòu)化數(shù)據(jù)的支持等。這使得本來就復(fù)雜的校情分析和評(píng)估過程遇到了很多困難，傳統(tǒng)的數(shù)據(jù)采集、管理和分析技術(shù)不再適應(yīng)教育大數(shù)據(jù)分析提出的高效性和可擴(kuò)展性的需求。為解決上述問題，本文基于大數(shù)據(jù)技術(shù)設(shè)計(jì)并

2、實(shí)現(xiàn)了一個(gè)面向教育大數(shù)據(jù)的多維數(shù)據(jù)分析系統(tǒng)，該系統(tǒng)具有高性能、高可擴(kuò)展性、界面友好的特點(diǎn)。
　　本文首先對(duì)大數(shù)據(jù)相關(guān)技術(shù)進(jìn)行學(xué)習(xí)和研究，根據(jù)HBase數(shù)據(jù)庫基于列存儲(chǔ)的特點(diǎn)設(shè)計(jì)了多維數(shù)據(jù)模型，實(shí)現(xiàn)了將事實(shí)表按維度存儲(chǔ)于HBase數(shù)據(jù)庫中，提高了多維數(shù)據(jù)模型的可擴(kuò)展性，并使之能夠支持非結(jié)構(gòu)化數(shù)據(jù)。同時(shí)，將HBase和Hive進(jìn)行整合，采用Hive提供的基于MapReduce計(jì)算框架的HiveQL查詢語句提高數(shù)據(jù)抽取、轉(zhuǎn)化和加載的效率

3、。
　　然后基于大數(shù)據(jù)的處理流程，設(shè)計(jì)了面向教育大數(shù)據(jù)的多維數(shù)據(jù)分析系統(tǒng)，由云化數(shù)據(jù)支撐模塊、智能業(yè)務(wù)分析模塊、信息展現(xiàn)模塊以及系統(tǒng)管理模塊組成，采用Hive實(shí)現(xiàn)統(tǒng)計(jì)分析、相關(guān)分析的功能，通過Mahout實(shí)現(xiàn)聚類、分類等數(shù)據(jù)挖掘功能;系統(tǒng)還具有校情一、二、三級(jí)指標(biāo)的評(píng)估功能。
　　最后給出了系統(tǒng)環(huán)境的搭建過程和系統(tǒng)關(guān)鍵功能的實(shí)現(xiàn)原理，并通過對(duì)比實(shí)驗(yàn)分析證明了本文實(shí)現(xiàn)的系統(tǒng)在大數(shù)據(jù)環(huán)境下?lián)碛袧M足實(shí)際需要的高效性和良好的可擴(kuò)展性