基于hadoop的海量搜索日志分析平臺的設(shè)計和實現(xiàn).pdf

1、自20世紀(jì)末期以來，隨著互聯(lián)網(wǎng)行業(yè)的增長和人類活動信息化進(jìn)程的加速，人們的信息交流日趨頻繁，如何進(jìn)行有效的信息檢索也隨之成為人們面臨的難題之一。搜索引擎技術(shù)的出現(xiàn)幫助人們走出了信息的迷宮，實現(xiàn)了有效的信息檢索，極大的改變了人們工作和生活的方式。
　　目前，對搜索引擎技術(shù)的研究已不再僅僅局限于其本身，對網(wǎng)絡(luò)用戶行為的研究也越來越被關(guān)注。這是因為對網(wǎng)絡(luò)用戶行為進(jìn)行系統(tǒng)深入的研究，有利于直接捕捉用戶的顯性需求并發(fā)掘其隱性需求。與網(wǎng)絡(luò)和信

2、息化相關(guān)的另一個挑戰(zhàn)是對如何應(yīng)對海量數(shù)據(jù)的處理。這不僅對傳統(tǒng)數(shù)據(jù)庫服務(wù)器的存儲模式是一種巨大的考驗，同時對服務(wù)器的CPU、IO的計算性能也是嚴(yán)峻的挑戰(zhàn)，而Hadoop/Hive是現(xiàn)技術(shù)領(lǐng)域解決這類問題的非常合適的方法和工具。
　　基于以上現(xiàn)狀，通過對大量文獻(xiàn)的閱讀和參考，以及對搜索引擎日志的產(chǎn)生和常見模型進(jìn)行的詳細(xì)分析，論文設(shè)計了一個用于處理海量搜索日志的分析平臺。具體包括:數(shù)據(jù)采集預(yù)處理模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊和集群管理

3、模塊四部分。其中，設(shè)計了一套基于用戶行為模式挖掘的算法來對搜索引擎的日志進(jìn)行分析和處理;在平臺監(jiān)控模塊中，實現(xiàn)了對于集群的監(jiān)控和管理。以數(shù)據(jù)挖掘的流程為思路，以海量數(shù)據(jù)分析工具Hadoop為實驗平臺，采用MapReduce映射/規(guī)約的編程模型，并采用簡單實用的類SQL的HIVE和HBase的海量數(shù)據(jù)庫來處理海量日志;同時，將挖掘模式分解在各分布式服務(wù)器進(jìn)行關(guān)聯(lián)匹配，然后將挖掘結(jié)果合成，由此實現(xiàn)減輕網(wǎng)絡(luò)和服務(wù)器性能的這一瓶頸的壓力，體現(xiàn)異