基于本體的網(wǎng)絡(luò)爬蟲設(shè)計及應(yīng)用.pdf

1、過去的幾十年里，我們一起見證了因特網(wǎng)的迅猛發(fā)展和網(wǎng)絡(luò)信息的不斷膨脹。但是隨著信息量的逐漸增加，傳統(tǒng)的網(wǎng)絡(luò)爬蟲已經(jīng)不能很好地滿足用戶對爬蟲性能的需求。因此基于本體的網(wǎng)絡(luò)爬蟲應(yīng)運而生，它的出現(xiàn)很大程度地提高了爬蟲對某個領(lǐng)域的查準率。而本體在網(wǎng)絡(luò)爬蟲中的應(yīng)用，大大減小了一詞多義給主題爬蟲帶來的不精確性。目前，基于本體的網(wǎng)絡(luò)爬蟲技術(shù)還不夠成熟，在一些大型的搜索引擎中并未采用此技術(shù)。不過隨著搜索引擎技術(shù)不斷的發(fā)展和人們對網(wǎng)絡(luò)搜索技術(shù)要求的提高，基

2、于本體的網(wǎng)絡(luò)爬蟲將會為未來的搜索領(lǐng)域開辟一塊新的天地。
　　本文對基于本體的網(wǎng)絡(luò)爬蟲進行了深入的研究。在詳細地闡述了網(wǎng)絡(luò)爬蟲和本體論的知識之后，全面地介紹了基于本體網(wǎng)絡(luò)爬蟲的模型，并且對模型各個模塊進行了詳細的分析。同時結(jié)合國內(nèi)外對基于本體網(wǎng)絡(luò)爬蟲的研究，提出了構(gòu)建基于本體網(wǎng)絡(luò)爬蟲的基本方法。首先結(jié)合本體論的基本知識，選取了計算機教育領(lǐng)域作為本體，對該領(lǐng)域進行了全面的分析并且使用開源軟件 Protégé來構(gòu)建基于網(wǎng)絡(luò)本體語言（OW

3、L）的本體模型。其次，本文詳細地介紹了空間向量模型。該方法將頁面和本體用向量來表示，通過計算向量之間的夾角來衡量鏈接與領(lǐng)域之間的相關(guān)度。接著，采用Java語言來實現(xiàn)基于本體的網(wǎng)絡(luò)爬蟲系統(tǒng)，并且將本體論的知識，向量模型，與網(wǎng)絡(luò)爬蟲的技術(shù)相結(jié)合，全面地介紹了基于本體網(wǎng)絡(luò)爬蟲的每一個模塊的實現(xiàn)細節(jié)。最后，對網(wǎng)絡(luò)爬蟲爬取的信息進行了全面的分析，用查準率與查全率作為本體爬蟲性能的衡量指標。綜合地展示了基于本體的網(wǎng)絡(luò)爬蟲的性能。通過實驗結(jié)果我們可以