一個基于Hadoop的Web日志分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著Internet的迅速發(fā)展和普及，Web相關(guān)組織收集了海量Web日志數(shù)據(jù)，其中蘊藏著大量有用的信息和知識，而這些信息和知識可以被用來設(shè)計產(chǎn)品、判斷客戶生命周期、優(yōu)化Web應(yīng)用程序功能、為用戶提供更個性化的內(nèi)容以及在Web空間找到最有效的邏輯結(jié)構(gòu)等。因此，海量Web日志數(shù)據(jù)一直具有重要的實際意義。
　　傳統(tǒng)的串行計算方法已難以處理如此龐大的數(shù)據(jù)，而云計算技術(shù)可以有效處理海量數(shù)據(jù)。Hadoop是Apache軟件基金會旗下的一個開源

2、分布式計算平臺。以HDFS和MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)，為利用云計算處理海量數(shù)據(jù)提供了有效的支撐。
　　本文以作者所在公司的實習(xí)項目為基礎(chǔ)，目標(biāo)是對海量Web日志進行分析，重點是研究Hadoop框架與傳統(tǒng)數(shù)據(jù)挖掘的結(jié)合，最終完成一個基于Hadoop的Web日志分析系統(tǒng)，從而可以從用戶上網(wǎng)數(shù)據(jù)中挖掘出有意義的信息。本文主要工作包括:
　　(1)研究了Web日志數(shù)據(jù)挖掘的相

3、關(guān)背景和意義，以及如何將Hadoop應(yīng)用到傳統(tǒng)數(shù)據(jù)挖掘中的方法。
　　(2)研究了Web日志挖掘的預(yù)處理過程。
　　(3)利用MapReduce實現(xiàn)統(tǒng)計模型?；贛apReduce技術(shù)，研究并實現(xiàn)三種并行式Apriori挖掘算法。經(jīng)過對比分析，結(jié)合Hadoop框架，提出并實現(xiàn)了一種改進的Apriori算法，并在實際數(shù)據(jù)集上運行以驗證設(shè)計的有效性，實驗分析表明所設(shè)計算法有較高的效率，在實際應(yīng)用中有較好的可行性。
　　(4