海量日志數(shù)據(jù)處理與查詢優(yōu)化技術(shù)研究.pdf

1、互聯(lián)網(wǎng)及各行各業(yè)信息化的快速發(fā)展，企業(yè)和單位需要處理的數(shù)據(jù)量越來(lái)越大。傳統(tǒng)文件系統(tǒng)已經(jīng)不能滿足海量數(shù)據(jù)的存儲(chǔ)需求，分布式文件系統(tǒng)成為解決海量數(shù)據(jù)存儲(chǔ)的一種有效方式。同時(shí)，由大數(shù)據(jù)量引發(fā)的大量計(jì)算，也推動(dòng)并行計(jì)算的高速發(fā)展。日志數(shù)據(jù)是常見(jiàn)的一種海量數(shù)據(jù)，本文針對(duì)海量日志數(shù)據(jù)，研究、設(shè)計(jì)和實(shí)現(xiàn)了其處理與查詢優(yōu)化技術(shù)，主要工作和創(chuàng)新點(diǎn)如下:
　　(1)設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的并行特征匹配算法。針對(duì)海量日志數(shù)據(jù)，結(jié)合WM算法，對(duì)日志中

2、的關(guān)鍵字，如Warning，Exception，Error等，進(jìn)行并行特征匹配。實(shí)驗(yàn)證明，該并行優(yōu)化技術(shù)可隨集群節(jié)點(diǎn)數(shù)近似線性的提高匹配性能。
　　(2)提出基于關(guān)鍵列預(yù)處理優(yōu)化的無(wú)冗余分布式存儲(chǔ)和查詢模型。該模型針對(duì)海量結(jié)構(gòu)化日志數(shù)據(jù)，首先選定關(guān)系表的某些列作為關(guān)鍵列，然后按照關(guān)鍵列分布式存儲(chǔ)數(shù)據(jù)，并記錄相關(guān)存儲(chǔ)信息作為元數(shù)據(jù)索引。對(duì)含有關(guān)鍵列的查詢，根據(jù)元數(shù)據(jù)索引減少單次查詢的數(shù)據(jù)量。模擬實(shí)驗(yàn)證明，該方法可顯著提高系統(tǒng)吞吐率。