PB級日志的數(shù)據(jù)分析的設(shè)計與應(yīng)用.pdf

1、在企業(yè)公司的業(yè)務(wù)決策中，數(shù)據(jù)分析一直扮演著及其關(guān)鍵的作用。按照具體工作邏輯進(jìn)行數(shù)據(jù)的分析，可以從繁多的數(shù)據(jù)中抓取到自己想要的數(shù)據(jù)。但是隨著進(jìn)入大數(shù)據(jù)的時代，日志的數(shù)據(jù)量越來越龐大，傳統(tǒng)的數(shù)據(jù)分析效率變得越來越低。隨著Hadoop等大數(shù)據(jù)分析框架的發(fā)展，使用Hadoop作為工具分析公司的業(yè)務(wù)日志，抓取分析數(shù)據(jù)，顯得越來越重要。數(shù)據(jù)量變多，一方面是記錄的條數(shù)越來越多，一方面是每一條記錄的內(nèi)容也變得越來多。通過分析大數(shù)據(jù)，可以得到更精準(zhǔn)的業(yè)務(wù)

2、指標(biāo)。如何高效高準(zhǔn)確的建立基于日志的數(shù)據(jù)分析顯得越來越重要。基于PB級日志的數(shù)據(jù)分析主要進(jìn)行以下內(nèi)容進(jìn)行研究：
　?。?）針對大數(shù)據(jù)介紹了數(shù)據(jù)的序列化，HDFS，RCFile以及MapReduce等相關(guān)的理論知識，對Google ProtoBuf，MapReduce,RCFile進(jìn)行的詳細(xì)的說明。
　　（2）就數(shù)據(jù)分析使用的兩種框架進(jìn)行闡述，重點論述了兩種框架對應(yīng)的MapReduce程序的設(shè)計。之后通過論述基于MapRedu

3、ce的數(shù)據(jù)分析的五個步驟，使用分模塊方式將數(shù)據(jù)分析過程模塊化，以及運行自動化及備份做闡述。
　?。?）使用2個例子分別對應(yīng)2種設(shè)計框架，詳細(xì)說明了實際工作中數(shù)據(jù)分析的整個過程。最后進(jìn)行了性能的時間分析對比時間，使用圖表直觀展現(xiàn)實驗結(jié)果。
　　基于PB日志的數(shù)據(jù)分析系統(tǒng)已經(jīng)在公司運行，在實際工作中，對于相關(guān)廣告業(yè)務(wù)的實驗，策略起到了強(qiáng)有力的支撐工作。使用列存儲保存日志MapReduce程序運行時間節(jié)約50％以上，性能優(yōu)化明顯。