主題搜索引擎設(shè)計(jì)與研究.pdf

1、由于Web上海量的信息處于不斷的變化中，通用搜索引擎己經(jīng)很難再為用戶提供一個(gè)準(zhǔn)確并且更新及時(shí)的信息搜索服務(wù)，其局限性在于它試圖索引全部Web并且試圖服務(wù)于所有主題的查詢請(qǐng)求。而主題搜索引擎只覆蓋與特定主題相關(guān)的Web區(qū)域，這樣它搜索的可以更深，搜索的周期可以更短，因此能滿足用戶對(duì)獲取信息資源快速、準(zhǔn)確的性能要求。面向主題的搜索研究正成為越來越熱門的課題。 本文首先對(duì)搜索引擎的歷史、分類、發(fā)展現(xiàn)狀及其趨勢(shì)做了概要介紹：然后以搜索引

2、擎的體系結(jié)構(gòu)、工作原理為主線在全文展開我們的研究工作。我們分別對(duì)爬蟲技術(shù)、HTML解析技術(shù)、分詞技術(shù)做了詳細(xì)的分析與研究。對(duì)頁(yè)面鏈接、頁(yè)面分布的特征也做了分析。 本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)頁(yè)面主題相關(guān)性判定系統(tǒng)。它的系統(tǒng)結(jié)構(gòu)植根于開源軟件Nutch，在健壯性與簡(jiǎn)單易用性上得到了保證。其核心思想是：把關(guān)鍵詞加權(quán)和頁(yè)面進(jìn)行主題相關(guān)性判定。其中運(yùn)用到了向量空間模型與關(guān)鍵詞集技術(shù)。 本文還提出了一個(gè)較為新穎的概念：關(guān)鍵詞和頁(yè)面間的Ω-