基于云存儲的數(shù)據(jù)流處理技術(shù)的研究.pdf

1、自2006年Google提出云計算概念以來，云計算從備受業(yè)界質(zhì)疑的概念炒作成為如今越來越成熟的技術(shù)服務(wù)形態(tài)。在云計算提供的眾多服務(wù)類型里，存儲服務(wù)成為我們最為直接使用的一種云計算服務(wù)，并發(fā)展成為業(yè)界獨立研究的領(lǐng)域，目前眾多的IT巨頭都在云存儲領(lǐng)域進行布局。云存儲是為大數(shù)據(jù)時代而生的，如何更加高效、快速、安全的進行海量數(shù)據(jù)的存儲、管理和處理，仍然是吸引眾多IT人士不斷研究的課題。如今，在云存儲的后端，Hadoop作為最適合大數(shù)據(jù)處理的開源

2、技術(shù)，正被廣泛的研究和使用。但由于Hadoop的興起時間不長，其還存在著一些設(shè)計缺陷，并且由于眾多云存儲服務(wù)提供商會根據(jù)服務(wù)的類別和數(shù)據(jù)中心的實際情況，需要對Hadoop進行改進，以便提供更好的服務(wù)。
　　 本文的研究內(nèi)容包括云存儲中數(shù)據(jù)流處理關(guān)鍵技術(shù)Hadoop，Hadoop是把數(shù)據(jù)以流的方式來進行處理的。通過對Hadoop平臺中核心組件HDFS分布式文件系統(tǒng)的框架和執(zhí)行流程的研究，針對其單一主控節(jié)點NameNode的設(shè)計缺陷

3、，提出了一種主控節(jié)點壓力分解的方法，在可接受的性能損失范圍內(nèi)，減輕了HDFS架構(gòu)中單一主控節(jié)點的訪問壓力，對系統(tǒng)架構(gòu)做出了一定的修改，使其在總體上能夠承擔(dān)更多的訪問請求，并且降低了單一節(jié)點在過量負載時造成的不穩(wěn)定性甚至是崩潰的風(fēng)險，使系統(tǒng)的健壯性進一步提高。另外，本文對HDFS的元數(shù)據(jù)信息進行二次備份設(shè)計，進一步提高了系統(tǒng)的可靠性。
　　 本文還對Hadoop的另一核心組件Map/Reduce的數(shù)據(jù)流處理機制進行研究，針對其過于

4、消耗資源的缺點，提出了一種在特定情況下能夠有效的降低Map/Reduce的資源消耗的優(yōu)化方式。本文針對這些特殊情況下，對元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)進行改進，使Map/Reduce在進行數(shù)據(jù)流處理之前能夠先從HDFS獲得元數(shù)據(jù)信息，進行數(shù)據(jù)塊的精準(zhǔn)定位，過濾掉不必要的數(shù)據(jù)處理，使HDFS對Map/Reduce的支持進一步提高，能夠有效的降低數(shù)據(jù)處理過程中的資源消耗，避免了資源的浪費。
　　 在本文的最后，通過多次實驗，使優(yōu)化后的系統(tǒng)與原始架