基于主題的搜索引擎研究.pdf

1、Internet的迅速發(fā)展使其成為當(dāng)今世界上最大的信息庫，并日益成為人們獲取所需資源的主要來源，然而其巨大的信息量以及紛繁蕪雜的內(nèi)容與人們有目的的利用信息形成了很大的矛盾。與此同時，傳統(tǒng)的綜合性搜索引擎要采集的信息以及構(gòu)建索引查詢的內(nèi)容不斷擴大，由于其局限于試圖索引全部Web并試圖服務(wù)于所有主題的查詢請求，導(dǎo)致了通用搜索引擎很難再為用戶提供一個全面并且更新及時的信息搜索服務(wù)，所以如何快速、準確地從浩瀚的信息資源中找到有用的信息成為網(wǎng)絡(luò)用

2、戶面臨的一個緊要問題。用戶迫切需要一個數(shù)據(jù)分類細致、精確、全面、更新及時的搜索引擎來獲取主題資源信息。由于面向主題的搜索引擎只覆蓋與特定主題相關(guān)的Web區(qū)域，這樣搜索可以更深，周期可以更短，因此能滿足用戶對獲取信息資源快速、準確的性能要求，所以成為目前研究的熱點。而Web挖掘作為知識挖掘新的研究內(nèi)容，由于自身在信息處理中的層次較高，同時與搜索引擎的關(guān)系非常密切，對搜索引擎技術(shù)有很大借鑒作用。所以搜索引擎通過應(yīng)用Web挖掘技術(shù)，可以增強信

3、息處理能力，使得信息檢索的能力滿足信息化社會的發(fā)展需要。 本文首先從研究的角度對搜索引擎的產(chǎn)生及其發(fā)展歷程進行分析，對目前綜合性通用搜索引擎的工作原理及其現(xiàn)狀進行討論，從而引出了傳統(tǒng)搜索引擎面臨的巨大挑戰(zhàn)。在此基礎(chǔ)上對主題搜索引擎的支撐技術(shù)進行充分研究，對于導(dǎo)向詞的使用、網(wǎng)頁評分、權(quán)威網(wǎng)頁和中心網(wǎng)頁的提取以及超鏈接文本分析等方面充分理解，最終確定論文研究的主要方向為如何把’WEB挖掘領(lǐng)域中的研究成果應(yīng)用于主題搜索引擎的設(shè)計和實現(xiàn)

4、中。本文的研究重點為以下四個方面： 1.Topical-Crawler信息采集：抓住如何評價頁面的主題相關(guān)性和設(shè)計高效的爬行策略這兩個關(guān)鍵問題。提出了基于主題策略改進網(wǎng)頁爬行器的方法：把主題詞及相關(guān)權(quán)值、首頁相關(guān)度以及基于鏈接的評價方法綜合應(yīng)用于爬行器的改進，提高搜索引擎資源獲取的主題相關(guān)度。 2.網(wǎng)頁文本分類：采用傳統(tǒng)的向量空間模型表示文本，采用基于詞典雙向最大匹配法進行自動分詞，提高文本特征抽取方面準確度，之后綜合分

5、析對比了幾種比較成熟的分類學(xué)習(xí)算法，改進了多項式樸素貝葉斯模型，提高了分類精度。 3.基于Lucene的索引與檢索：在Apache開源框架Lucene提供的完整的查詢引擎和索引引擎的基礎(chǔ)上，完成索引及查詢模塊，對已分類的網(wǎng)頁文本進行索引，提高索引及查詢的效率。 4.搜索結(jié)果聚類：研究聚類算法在搜索結(jié)果聚類的應(yīng)用特性：重疊聚類、短語表示以及簡明的類定義。在進行檢索時，對已檢索到的結(jié)果進行聚類分析，根據(jù)文檔與用戶查詢的相關(guān)性