面向可下載資源的WEB搜索引擎的設(shè)計與實現(xiàn).pdf

1、利用搜索引擎，人們可以在互聯(lián)網(wǎng)中迅速定位自己所需的信息。以Google為代表的通用搜索引擎在信息檢索方面很好的滿足了用戶的需求，但在搜索可下載資源方面，通用搜索引擎還存在著一些不足之處：大多數(shù)情況下都沒有返回直接指向可下載資源的目標鏈接；沒有對可下載資源的可訪問性進行檢測從而導(dǎo)致出現(xiàn)“死鏈”。本文通過研究可下載資源的特性，提出了一種新的面向可下載資源的搜索引擎，以此來彌補通用搜索引擎在搜索可下載資源方面的不足。 本文首先分析了可

2、下載資源的特性，其與一般Web頁面的區(qū)別是：Web頁面只是通往可下載資源的路標，且無法確保能找到可下載資源；網(wǎng)站的知名度與其提供的可下載資源的質(zhì)量之間并無必然聯(lián)系。因此，在搜索引擎的設(shè)計上充分考慮可下載資源的特性是提高對可下載資源搜索質(zhì)量的關(guān)鍵。 針對可下載資源的以上特性，本文設(shè)計了一種面向可下載資源的搜索引擎——SureDown。SureDown采取了以資源為中心的信息收集策略，Crawler訪問資源時會檢測其可訪問性，并將與

3、其關(guān)聯(lián)的網(wǎng)頁保存到本地數(shù)據(jù)庫中；同時其索引的建立也只針對與資源關(guān)聯(lián)的網(wǎng)頁，在建立索引前，通過對網(wǎng)頁進行預(yù)處理來構(gòu)建資源描述文件，使得建立索引的開銷大幅降低；而排序程序則通過計算資源描述文件中各標簽內(nèi)容與查詢關(guān)鍵字的相關(guān)度來對搜索結(jié)果進行排序，最后由用戶接口將資源描述文件中指向可下載資源的目標鏈接作為結(jié)果集返回給用戶。新的搜索引擎在設(shè)計上充分考慮了可下載資源的特性。 基于提出的SureDown的設(shè)計思想，本文實現(xiàn)了SureDown