面向博客領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息資源呈幾何級(jí)數(shù)增長，使用傳統(tǒng)搜索引擎技術(shù)準(zhǔn)確、快速地查找所需信息也變得越來越困難。面對每天海量遞增的數(shù)據(jù)量，通用搜索引擎（又稱為水平搜索引擎）很難及時(shí)地更新索引數(shù)據(jù)庫；面對數(shù)以億計(jì)的網(wǎng)頁通用搜索引擎很難深入抓取信息。針對通用搜索引擎存在搜索不夠快速、不夠深入的缺點(diǎn)，新一代搜索技術(shù)一垂直搜索引擎應(yīng)運(yùn)而生。 垂直搜索是針對某一個(gè)行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是相對通用搜索引擎的信息量大、查詢不準(zhǔn)確、深度不夠

2、等問題提出來的新一代搜索引擎服務(wù)模式。通過針對某一特定領(lǐng)域、某一特定人群或某一特定需求提供有一定價(jià)值的信息和相關(guān)服務(wù)。 與通用搜索引擎的信息采集技術(shù)不同，垂直搜索引擎的網(wǎng)絡(luò)蜘蛛（又稱為網(wǎng)絡(luò)爬蟲）僅采集與主題相關(guān)的信息。通過對網(wǎng)頁的主題相關(guān)度進(jìn)行預(yù)測和判斷，專業(yè)網(wǎng)絡(luò)蜘蛛在爬行時(shí)避開了大量主題無關(guān)的區(qū)域。由于只采集主題相關(guān)的網(wǎng)頁，垂直搜索引擎在查詢的準(zhǔn)確率和效率上都有顯著地提高。 本文首先介紹了垂直搜索引擎技術(shù)的研究現(xiàn)狀和發(fā)

3、展方向，然后重點(diǎn)研究了垂直搜索引擎的主題搜索策略和主題相關(guān)度判別算法；在分析了、闡述了通用搜索引擎與垂直搜索引擎在系統(tǒng)架構(gòu)、工作原理、關(guān)鍵技術(shù)等方面的不同特點(diǎn)基礎(chǔ)上，對博客垂直搜索引擎核心模塊--索引及檢索模塊進(jìn)行設(shè)計(jì)；并對博客垂直搜索引擎系統(tǒng)的具體實(shí)現(xiàn)和實(shí)施做了詳細(xì)地描述，測試的結(jié)果驗(yàn)證了本論文設(shè)計(jì)的博客垂直搜索引擎具有良好的搜索效果。 本文創(chuàng)新點(diǎn)是： （1）根據(jù)基于主題的垂直搜索網(wǎng)絡(luò)爬蟲原理自主開發(fā)出MySpider網(wǎng)