基于Hadoop-MongoDB的Web日志挖掘技術(shù)研究.pdf

1、當(dāng)今是一個互聯(lián)網(wǎng)迅速發(fā)展的時代，對互聯(lián)網(wǎng)服務(wù)提供商來說，日志數(shù)據(jù)是一個需要進行挖掘的寶藏庫，因為這些日志數(shù)據(jù)中記錄了用戶在使用應(yīng)用時的一些動作規(guī)律、個性喜好等用戶行為數(shù)據(jù)以及后臺系統(tǒng)的性能狀態(tài)、響應(yīng)耗時等服務(wù)數(shù)據(jù)。應(yīng)用提供商通過挖掘這些數(shù)據(jù)，能夠指導(dǎo)其合理的調(diào)整應(yīng)用的架構(gòu)、內(nèi)容，使其能夠?qū)τ脩籼峁└嗅槍π缘纳虡I(yè)服務(wù)，提供更好的用戶體驗，從而在互聯(lián)網(wǎng)產(chǎn)業(yè)的競爭中抓住先機。但是現(xiàn)代的Web日志一般數(shù)據(jù)都十分巨大，傳統(tǒng)的單機處理分析的方式已

2、經(jīng)很難適應(yīng)當(dāng)前的大數(shù)據(jù)處理的要求。
　　本文主要研究了基于Hadoop及NoSQL技術(shù)中的MongoDB進行Web日志挖掘的分析處理技術(shù)，其主要研究內(nèi)容如下:
　　第一，探討了Web日志挖掘技術(shù)以及云計算的發(fā)展以及國內(nèi)外的研究現(xiàn)狀，確定了本文的研究方向;介紹了Web日志挖掘技術(shù)的一些理論基礎(chǔ)，分析了Web日志文件的存放位置、日志類型，以及常用的日志分析中的預(yù)處理機制。
　　第二，本文對Hadoop平臺架構(gòu)以及其核心技術(shù)

3、進行了深入研究，闡述了其框架結(jié)構(gòu)，MapReduce編程模型以及其對大數(shù)據(jù)處理的性能優(yōu)勢。同時，本文還對MongoDB進行了詳細研究，介紹了MongoDB的基本內(nèi)容，分析了非結(jié)構(gòu)化數(shù)據(jù)庫與傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫的優(yōu)劣以及MongoDB對非結(jié)構(gòu)化數(shù)據(jù)的性能優(yōu)勢。
　　第三，研究分析了Web日志挖掘中的常用算法Apriori算法，它是Agrawal提出的挖掘產(chǎn)生布爾關(guān)聯(lián)規(guī)則所需頻繁項集的基本算法，指出Apriori算法本身需要大量掃描數(shù)據(jù)庫

4、，存在一定的I/O瓶頸。針對這一問題，本文提出一種改進的AprioriHM算法，算法輸入集合根據(jù)頻繁項集的不關(guān)聯(lián)或者弱關(guān)聯(lián)劃分成若干個子集合，將子集合分發(fā)到各個節(jié)點。這樣，當(dāng)進行頻繁集項的迭代時，不需要再掃描整個數(shù)據(jù)候選集，只需通過搜索相關(guān)子集合，不僅減少了大部分對數(shù)據(jù)庫的掃描，同樣更有效率的找到數(shù)據(jù)集中的頻繁集項。在算法的實現(xiàn)上，將算法分布式運行，利用Hadoop框架管理并行處理細節(jié)，減少挖掘算法分布式實現(xiàn)的難度，同時提高了算法在實現(xiàn)