Hadoop中海量日志文件的處理分析.pdf

1、當(dāng)今社會信息化建設(shè)日益增多,數(shù)據(jù)的飛速增長造成了傳統(tǒng)的數(shù)據(jù)庫模式無法滿足目前很多處理巨型規(guī)模的數(shù)據(jù)的需求。隨著近年來分布式數(shù)據(jù)庫的推廣,分布式文件系統(tǒng)的技術(shù)革新,Hadoop系統(tǒng)成為了應(yīng)用范圍十分廣泛的集群式數(shù)據(jù)文件處理系統(tǒng)。其主要組成部分包括HDFS(Hadoop Distributed File System)和MapReduce。在處理分析海量文件時(shí),Hadoop的作用更是由許多大型企業(yè)的集群化數(shù)據(jù)應(yīng)用得以驗(yàn)證。但是,Hadoop

2、在處理海量小文件時(shí),會出現(xiàn)Name Node(名稱節(jié)點(diǎn))占用率高和無法高效訪問的問題。海量元數(shù)據(jù)的處理極其消耗內(nèi)存,海量小文件堆積造成的Map任務(wù)處理等待時(shí)間過長等問題都急需找出解決辦法,以支持Hadoop快速處理海量小文件。
　　目前在實(shí)際應(yīng)用中,涉及的需管理的各類大型系統(tǒng)有二三十個(gè),每天都會在各個(gè)系統(tǒng)的日志服務(wù)器內(nèi)產(chǎn)生海量的日志文件。大型系統(tǒng)中的海量日志文件既小又多,使得管理過程中花銷了大量的硬件成本和網(wǎng)絡(luò)資源。因此,考慮選用

3、Hadoop系統(tǒng)來統(tǒng)一管理分析這些海量的日志文件。本文希望通過找出有效的處理分析海量日志文件的方法,以彌補(bǔ)Hadoop在這方面存在的缺陷?；谶@個(gè)目的,開展了本次研究。本文重點(diǎn)研究分析了以下內(nèi)容:
　　1)針對處理海量日志文件的各種手段、如合并、建索引、分塊存儲、相鄰堆放等步驟提出可行的方法,主要考慮的是節(jié)省索引檢索的時(shí)間,降低節(jié)點(diǎn)間的通信花銷。
　　2)針對日志文件的時(shí)間特征,對海量日志文件進(jìn)行選取時(shí)間段的批量更新、刪除,

4、期望得到最優(yōu)效果;提高Hadoop系統(tǒng)對日志更新操作的響應(yīng)速度。
　　3)尋找海量日志文件備份的方法及實(shí)施方式,并根據(jù)優(yōu)缺點(diǎn)及相關(guān)實(shí)驗(yàn)比較,尋找最佳的備份方案,降低系統(tǒng)的負(fù)擔(dān)。
　　4)采用兩套運(yùn)行在不同集群的Hadoop系統(tǒng)作為實(shí)驗(yàn)測試的環(huán)境,通過C＃語言設(shè)計(jì)了包括日志過濾、數(shù)據(jù)比對、時(shí)間試驗(yàn)等多個(gè)實(shí)驗(yàn)環(huán)節(jié),驗(yàn)證本文所提方法的可行性和優(yōu)勢。為Hadoop系統(tǒng)處理分析海量日志文件提供有效的方法。
　　研究表明,本文采用