基于大數(shù)據(jù)中查詢?nèi)罩镜挠脩粜袨榉治鱿到y(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的普及和發(fā)展，人們之間通過網(wǎng)絡(luò)來進(jìn)行信息交流逐漸頻繁，然而，如何進(jìn)行有效的信息檢索隨之成為網(wǎng)民面臨的難題之一。搜索引擎通過將雜亂無序的信息組織起來，建立有序的索引文檔，為人們進(jìn)行有效的信息檢索提供了極大的方便。
　　用戶與搜索引擎交互的過程中會(huì)產(chǎn)生了大量的查詢?nèi)罩?。這些用戶查詢?nèi)罩局邪S多和用戶相關(guān)的信息，可以直接捕捉到用戶的顯性需求并發(fā)掘其隱性需求，因此對(duì)用戶日志的研究越來越引起人們的關(guān)注。用戶查詢?nèi)罩臼艿礁鞔蠡ヂ?lián)

2、網(wǎng)公司尤其是搜索類的互聯(lián)網(wǎng)公司的重視，它們都期望通過精準(zhǔn)及時(shí)的日志分析和挖掘來發(fā)現(xiàn)用戶的行為特征，以此提高用戶使用的滿意度，進(jìn)而提升企業(yè)的市場競爭力。另一方面，隨著日志數(shù)量指數(shù)式的增長，如何有效快速地處理大量的日志成為一個(gè)挑戰(zhàn)，這對(duì)于傳統(tǒng)的數(shù)據(jù)庫的存儲(chǔ)模式和服務(wù)器的計(jì)算性能都是考驗(yàn)，而Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。利用分布式技術(shù)存儲(chǔ)并計(jì)算海量日志，使得對(duì)查詢?nèi)罩镜难芯孔兊酶臃奖恪?br>　　基于以上現(xiàn)狀并閱

3、讀大量參考文獻(xiàn)后，本文通過對(duì)搜索引擎日志產(chǎn)生的過程進(jìn)行詳細(xì)分析，以Hadoop為平臺(tái)，運(yùn)用HDFS分布式文件系統(tǒng)存儲(chǔ)海量日志并采用MapReduce計(jì)算模式，設(shè)計(jì)了一個(gè)基于海量查詢?nèi)罩镜挠脩粜袨榉治銎脚_(tái)，主要包括四個(gè)模塊，即日志采集模塊、日志存儲(chǔ)模塊、日志分析模塊和數(shù)據(jù)可視化模塊。其中，日志分析模塊為整個(gè)系統(tǒng)的重點(diǎn)，主要從關(guān)鍵字排名、URL排名、主機(jī)排名、用戶搜索統(tǒng)計(jì)、時(shí)間段統(tǒng)計(jì)、日搜索統(tǒng)計(jì)六個(gè)維度對(duì)搜索日志進(jìn)行了分析，并以Web文本挖