基于時態(tài)信息的主題搜索引擎的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，面對這樣一個全球最大的信息資源寶庫，搜索引擎為人們提供了獲取信息的入口，得到了極大的流行。但由于Web多元化信息的指數(shù)級增長和人們需求的多樣化，通用搜索引擎返回的結(jié)果已經(jīng)不能滿足人們對個性化信息檢索服務(wù)的要求，于是主題搜索引擎應運而生。與通用搜索不同，主題搜索引擎僅僅專注于某一領(lǐng)域，為特定領(lǐng)域的用戶提供更為精確、更全面、更及時的搜索服務(wù)。它的很多技術(shù)與通用搜索引擎類似，但是還有一些自己獨特的技術(shù)和一些新的需要解決問

2、題，成為近年來研究的熱點。 傳統(tǒng)的主題搜索引擎僅支持基于關(guān)鍵字的搜索方式，因此在許多情況下難以有效地表達用戶的查詢需求，例如在新聞主題搜索引擎中查詢“最近三天內(nèi)關(guān)于甲型流感的新聞”。通過對網(wǎng)頁信息的分析，時態(tài)信息是網(wǎng)頁的一個本質(zhì)屬性，比如網(wǎng)頁的修改時間、新聞網(wǎng)頁中蘊含的新聞事件時間等。因此，如果能夠利用網(wǎng)頁的時態(tài)信息來增強主題搜索引擎的效率，使用戶可以表達時態(tài)相關(guān)的查詢需求，同時搜索引擎自身也提供時態(tài)查詢處理能力，則可以有效地提

3、高主題搜索引擎的性能。 本文圍繞基于時態(tài)信息的主題搜索引擎開展了若干關(guān)鍵技術(shù)的研究，重點探討了時態(tài)主題搜索引擎的設(shè)計與實現(xiàn)，主題爬蟲、搜索結(jié)果的時態(tài)排序等問題。本文的主要貢獻可歸納為： (1)通過分析Web結(jié)構(gòu)和網(wǎng)頁特征，提出并實現(xiàn)了一個混合主題爬蟲。該爬蟲首先對抓取下來的網(wǎng)頁使用基于VIPS的網(wǎng)頁分析算法計算網(wǎng)頁與主題的相關(guān)性并選取相關(guān)鏈接，然后結(jié)合元搜索技術(shù)來提高爬蟲跨越Web社區(qū)的能力，使其在保有精確度的同時具有好

4、的召回率。 (2)研究了結(jié)合不同網(wǎng)頁時間的搜索結(jié)果排序算法，提出了三種適合不同時態(tài)語義搜索的網(wǎng)頁排序算法。這類算法分別就用戶對網(wǎng)頁的內(nèi)容時間、修改時間及雙時態(tài)時間的查詢需求，對傳統(tǒng)的PageRank算法中的轉(zhuǎn)移概率和跳轉(zhuǎn)概率進行了改進，提高了排序結(jié)果的精確性。 (3)設(shè)計并實現(xiàn)了一種能夠根據(jù)網(wǎng)頁的內(nèi)容時間和修改時間進行Web網(wǎng)頁檢索的主題搜索引擎，該系統(tǒng)同時支持文本檢索和時態(tài)檢索。實驗表明，基于時態(tài)信息的主題搜索引擎具有