多種數(shù)據(jù)處理方案及其性能和應(yīng)用研究.pdf

1、自動(dòng)化和數(shù)字化的業(yè)務(wù)應(yīng)用平臺(tái)使企業(yè)每天產(chǎn)生和收集的數(shù)據(jù)量日益增長。數(shù)據(jù)量增大，數(shù)據(jù)計(jì)算任務(wù)日益復(fù)雜，用戶對平臺(tái)數(shù)據(jù)處理性能要求的提高，使得數(shù)據(jù)處理性能面臨著嚴(yán)峻挑戰(zhàn)。因此，數(shù)據(jù)處理是一個(gè)有重要學(xué)術(shù)和應(yīng)用價(jià)值的研究課題。
　　本文研究了Pig數(shù)據(jù)處理的內(nèi)部機(jī)制，Pig是基于Hadoop平臺(tái)的并行數(shù)據(jù)處理計(jì)算引擎。并針對一個(gè)申報(bào)評審類系統(tǒng)中評審結(jié)果統(tǒng)計(jì)模塊數(shù)據(jù)量不斷增大和數(shù)據(jù)處理任務(wù)日益復(fù)雜的問題，提出了四種數(shù)據(jù)處理解決方案。并對四種

2、方案從可擴(kuò)展性、數(shù)據(jù)處理性能等多方面進(jìn)行了綜合對比分析。通過分析Pig+Nova分布式并行處理方案能夠較好的申報(bào)評審系統(tǒng)數(shù)據(jù)處理性能的問題。其中，Nova是一種數(shù)據(jù)流管理器。
　　本文設(shè)計(jì)了對比實(shí)驗(yàn)對 Pig分布式數(shù)據(jù)數(shù)理性能和分布式存儲(chǔ)策略進(jìn)行研究。用不同數(shù)量級的數(shù)據(jù)對Oracle/SQL和Hadoop/Pig實(shí)現(xiàn)的數(shù)據(jù)處理案例進(jìn)行性能測試，在不同節(jié)點(diǎn)個(gè)數(shù)的Hadoop集群對Pig方案進(jìn)行測試和分析。實(shí)驗(yàn)結(jié)果表明，當(dāng)對小數(shù)據(jù)集進(jìn)