面向應(yīng)用模式的Hadoop-Hive架構(gòu)和性能及應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，信息化程度的提高，很多企業(yè)數(shù)據(jù)庫(kù)的數(shù)據(jù)量已經(jīng)從TB級(jí)達(dá)到PB級(jí)。將這些靜態(tài)的海量數(shù)據(jù)利用起來(lái)，從中挖掘出有用的知識(shí)能夠很大的程度上增強(qiáng)企業(yè)的競(jìng)爭(zhēng)力。
　　本文的研究以《學(xué)科評(píng)估信息系統(tǒng)》統(tǒng)計(jì)分析模塊的需求和應(yīng)用為基礎(chǔ)。當(dāng)對(duì)統(tǒng)計(jì)分析進(jìn)行建模時(shí)，多個(gè)用戶需要反復(fù)并發(fā)訪問(wèn)Oracle數(shù)據(jù)庫(kù)。而學(xué)科評(píng)估系統(tǒng)數(shù)據(jù)量越來(lái)越大，Oracle由于內(nèi)存、IO、CPU等資源有限，當(dāng)處理大數(shù)據(jù)量的并發(fā)請(qǐng)求時(shí)響應(yīng)時(shí)間較長(zhǎng)，極大的

2、影響了統(tǒng)計(jì)分析的效率。
　　針對(duì)以上問(wèn)題，提出了基于Hadoop/Hive架構(gòu)的分布式存儲(chǔ)和并行計(jì)算思想方法。通過(guò)對(duì)統(tǒng)計(jì)分析模塊各應(yīng)用模式進(jìn)行分析調(diào)研，總結(jié)出整體匯總、最值、排序、模糊查詢、表連接、分組對(duì)比六種應(yīng)用模式;將Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行對(duì)比并對(duì)Hive的數(shù)據(jù)傾斜、性能調(diào)優(yōu)等關(guān)鍵問(wèn)題進(jìn)行研究;在各應(yīng)用模式下，利用Sqoop將所涉及到的Oracle中的數(shù)據(jù)表導(dǎo)入到Hive中，編寫并執(zhí)行相應(yīng)的SQL語(yǔ)句以及HiveQL腳

3、本，統(tǒng)計(jì)、對(duì)比分析Oracle與Hive的性能，分析Hive在統(tǒng)計(jì)分析方面的優(yōu)勢(shì)和劣勢(shì);最后研究了Hadoop不同節(jié)點(diǎn)數(shù)以及不同Map Task數(shù)對(duì)Hive性能的影響。
　　實(shí)驗(yàn)結(jié)果表明，在各應(yīng)用模式下，當(dāng)數(shù)據(jù)量或者并發(fā)量較小時(shí)，Oracle性能要優(yōu)于Hive;除了排序，當(dāng)數(shù)據(jù)量、并發(fā)量逐漸增大時(shí)，Hive與Oracle的性能差距逐漸縮小，進(jìn)而優(yōu)于Oracle。最后，將基于Hadoop/Hive架構(gòu)的分布式存儲(chǔ)與并行計(jì)算方案進(jìn)行實(shí)