版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、在企業(yè)公司的業(yè)務(wù)決策中,數(shù)據(jù)分析一直扮演著及其關(guān)鍵的作用。按照具體工作邏輯進(jìn)行數(shù)據(jù)的分析,可以從繁多的數(shù)據(jù)中抓取到自己想要的數(shù)據(jù)。但是隨著進(jìn)入大數(shù)據(jù)的時代,日志的數(shù)據(jù)量越來越龐大,傳統(tǒng)的數(shù)據(jù)分析效率變得越來越低。隨著Hadoop等大數(shù)據(jù)分析框架的發(fā)展,使用Hadoop作為工具分析公司的業(yè)務(wù)日志,抓取分析數(shù)據(jù),顯得越來越重要。數(shù)據(jù)量變多,一方面是記錄的條數(shù)越來越多,一方面是每一條記錄的內(nèi)容也變得越來多。通過分析大數(shù)據(jù),可以得到更精準(zhǔn)的業(yè)務(wù)
2、指標(biāo)。如何高效高準(zhǔn)確的建立基于日志的數(shù)據(jù)分析顯得越來越重要。基于PB級日志的數(shù)據(jù)分析主要進(jìn)行以下內(nèi)容進(jìn)行研究:
?。?)針對大數(shù)據(jù)介紹了數(shù)據(jù)的序列化,HDFS,RCFile以及MapReduce等相關(guān)的理論知識,對Google ProtoBuf,MapReduce,RCFile進(jìn)行的詳細(xì)的說明。
(2)就數(shù)據(jù)分析使用的兩種框架進(jìn)行闡述,重點論述了兩種框架對應(yīng)的MapReduce程序的設(shè)計。之后通過論述基于MapRedu
3、ce的數(shù)據(jù)分析的五個步驟,使用分模塊方式將數(shù)據(jù)分析過程模塊化,以及運行自動化及備份做闡述。
?。?)使用2個例子分別對應(yīng)2種設(shè)計框架,詳細(xì)說明了實際工作中數(shù)據(jù)分析的整個過程。最后進(jìn)行了性能的時間分析對比時間,使用圖表直觀展現(xiàn)實驗結(jié)果。
基于PB日志的數(shù)據(jù)分析系統(tǒng)已經(jīng)在公司運行,在實際工作中,對于相關(guān)廣告業(yè)務(wù)的實驗,策略起到了強(qiáng)有力的支撐工作。使用列存儲保存日志MapReduce程序運行時間節(jié)約50%以上,性能優(yōu)化明顯。
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 日志數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于日志的網(wǎng)站數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 游戲日志大數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于主題模型的用戶手機(jī)日志數(shù)據(jù)分析
- 《商務(wù)數(shù)據(jù)分析與應(yīng)用》-教學(xué)設(shè)計
- 數(shù)據(jù)分析思維的價值與應(yīng)用
- 某移動應(yīng)用數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 某市財政數(shù)據(jù)分析應(yīng)用系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 日志大數(shù)據(jù)分析平臺技術(shù)研究.pdf
- 基于數(shù)據(jù)挖掘軟件weka 的數(shù)據(jù)分析與應(yīng)用
- 產(chǎn)險數(shù)據(jù)分析系統(tǒng)的建立與應(yīng)用.pdf
- 稅收數(shù)據(jù)分析應(yīng)用講評系統(tǒng)設(shè)計與實現(xiàn).pdf
- 基于數(shù)據(jù)挖掘軟件weka 的數(shù)據(jù)分析與應(yīng)用
- 生態(tài)數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 稅收數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于主機(jī)的日志大數(shù)據(jù)分析及安全性檢查.pdf
- 中考平臺數(shù)據(jù)分析與應(yīng)用.pdf
- 林木EST數(shù)據(jù)分析系統(tǒng)的構(gòu)建與應(yīng)用.pdf
- 基于時空軌跡的交通數(shù)據(jù)分析與應(yīng)用.pdf
- 移動數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf
評論
0/150
提交評論