基于日志分析的個(gè)性化搜索引擎的研究與實(shí)現(xiàn).pdf

1、目前互聯(lián)網(wǎng)上每天爆發(fā)著海量的信息，搜索引擎成了我們查找信息的最重要的工具。然而搜索引擎所提供的信息檢索服務(wù)大多數(shù)仍然是大眾化的，這種綜合性搜索引擎往往不能滿足特定用戶面向特定領(lǐng)域和特定主題的個(gè)性化的信息需求，而且這種情況下召回率和精確率都是很低的。個(gè)性化搜索引擎為解決此問(wèn)題而誕生。本文設(shè)計(jì)并實(shí)現(xiàn)了這樣一個(gè)個(gè)性化搜索引擎。
　　 本文在深入研究了搜索引擎日志分析和元搜索引擎的基礎(chǔ)上，通過(guò)日志分析挖掘用戶興趣，利用用戶興趣實(shí)現(xiàn)搜索引

2、擎的個(gè)性化，將二者有機(jī)的結(jié)合起來(lái)，構(gòu)建了一個(gè)基于搜索引擎日志分析的個(gè)性化搜索引擎。論文完成了日志分析和個(gè)性化搜索引擎的研究與設(shè)計(jì)工作，并且對(duì)系統(tǒng)進(jìn)行了相關(guān)測(cè)試。本文的主要研究工作有以下幾點(diǎn)：
　　 1.對(duì)日志采集技術(shù)做了詳細(xì)的研究，介紹了目前主要的兩種信息采集技術(shù)：頁(yè)面標(biāo)簽技術(shù)和服務(wù)器日志技術(shù)，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一種基于頁(yè)面標(biāo)簽的日志采集技術(shù)，使用這種技術(shù)在專門日志服務(wù)器上生成日志，減輕了日志清洗的負(fù)擔(dān)，也減輕了web服務(wù)器

3、的負(fù)擔(dān)；
　　 2.使用shell腳本實(shí)現(xiàn)了日志的自動(dòng)傳輸，為了保證傳輸?shù)目煽啃裕O(shè)置了重傳機(jī)制。另外為了減小日志傳送失敗所帶來(lái)的損失和使用的方便，在日志傳輸前對(duì)日志進(jìn)行了分割和打包壓縮，傳輸完成后又對(duì)其解包解壓縮和合并；
　　 3.對(duì)日志分析技術(shù)做了簡(jiǎn)單的總結(jié)，并對(duì)論文中日志分析要用到的關(guān)鍵技術(shù)-基于HDFS和MapReduce做了比較詳細(xì)的介紹。日志分析階段鑒于查詢?nèi)罩竞忘c(diǎn)擊日志的分析過(guò)程，為避免重復(fù)敘述，著重介紹了

4、點(diǎn)擊日志的分析過(guò)程，并利用MapReduce實(shí)現(xiàn)了日志分析，通過(guò)日志分析，提取了代表用戶興趣的關(guān)鍵詞及其權(quán)值，并利用它來(lái)建立用戶興趣模型；
　　 4.設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)元搜索引擎，并利用日志分析結(jié)果建立的用戶興趣模型，對(duì)元搜索引擎返回的結(jié)果進(jìn)行過(guò)濾，實(shí)現(xiàn)了個(gè)性化搜索；
　　 5.在此過(guò)程中設(shè)計(jì)并實(shí)現(xiàn)了一種基于用戶聚類的個(gè)性化檢索算法，極大的提高搜索引擎的性能；
　　 最后，通過(guò)分析系統(tǒng)運(yùn)行時(shí)的數(shù)據(jù)，證明系統(tǒng)已成功達(dá)