Invisible Web信息檢索方法研究.pdf

1、隨著互聯(lián)網(wǎng)上的信息量迅猛增加，搜索引擎在人們使用網(wǎng)絡(luò)的過(guò)程中扮演著越來(lái)越重要的角色，幾乎所有上網(wǎng)的人都會(huì)用到搜索引擎來(lái)查找信息。同時(shí)各搜索引擎在不斷地發(fā)展，收錄的網(wǎng)頁(yè)也越來(lái)越多。但這些搜索引擎并非可以搜到互聯(lián)網(wǎng)所有的網(wǎng)頁(yè)，網(wǎng)上仍有一大部分頁(yè)面普通搜索引擎搜索不到，這些網(wǎng)頁(yè)就是“Invisible Web”，即看不見(jiàn)的網(wǎng)頁(yè)。據(jù)調(diào)查研究的結(jié)果可知，Invisible Web中蘊(yùn)含著大量有價(jià)值的信息，可是它們卻不能被當(dāng)前主流搜索引擎搜索到。因

2、此，研究能夠?qū)nvisible Web進(jìn)行搜索的技術(shù)和方法就顯得很有必要且很有價(jià)值。傳統(tǒng)的面向Invisible Web信息的檢索方式主要有兩大類：目錄檢索和自動(dòng)檢索。在國(guó)外目錄檢索工具發(fā)展已經(jīng)比較成熟，但這種檢索方式查全率低，檢索速度慢，不能滿足用戶的查詢需要。而自動(dòng)檢索是真正地對(duì)Invisible Web進(jìn)行檢索，它可以將用戶的檢索請(qǐng)求同時(shí)推送到多個(gè)相關(guān)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中進(jìn)行檢索，而后把結(jié)果返回給用戶。所以自動(dòng)檢索逐漸成為該領(lǐng)域研究的熱

3、點(diǎn)。
　　 本文分析了Invisible Web產(chǎn)生的原因及存在的主要類型，并論述了這種信息資源的特點(diǎn)，分析了傳統(tǒng)的檢索方式檢索Invisible Web存在的問(wèn)題，提出將分布式技術(shù)應(yīng)用于Invisible Web檢索中，可以增強(qiáng)自動(dòng)檢索工具的檢索能力。深入分析了分布式信息檢索的基本原理和體系結(jié)構(gòu)，提出了采用分布式檢索方式檢索Invisible Web信息的關(guān)鍵步驟，即：數(shù)據(jù)集合劃分、數(shù)據(jù)集合選擇、結(jié)果合并。重點(diǎn)研究了這三個(gè)關(guān)鍵