基于Nutch的垂直搜索引擎研究與實現(xiàn).pdf

1、隨著Web信息量的飛速增長，越來越多的人希望能夠快速且有效地找到自己所需要的與特定領(lǐng)域主題有關(guān)的信息，目前通用搜索引擎(search engine)面臨著空前的挑戰(zhàn)。垂直搜索引擎(vertical search engine)由于僅僅采集用戶指定的、與某一特定主題相關(guān)的信息，過濾不相關(guān)的信息，以構(gòu)筑某一主題或?qū)W科領(lǐng)域的Web信息資源庫為目標(biāo)，并在查詢結(jié)果排序時給予主題相關(guān)度高的網(wǎng)頁更高的優(yōu)先級，具有很高的實用價值和廣闊的應(yīng)用領(lǐng)域，因而成

2、為目前網(wǎng)絡(luò)信息檢索領(lǐng)域的研究熱點之一。
　　 Nutch是一個開源(open source)的Web搜索引擎，它將盡自己最大的努力為用戶提供最好的搜索結(jié)果。本文在Nutch平臺上實現(xiàn)了中文分詞插件，從而使Nutch具有中文信息處理能力。此外分析并研究了目前常用的主題相關(guān)度判別方法，在系統(tǒng)實現(xiàn)中采用了基于向量空間模型的主題相關(guān)度判別算法，并對該算法進(jìn)行改進(jìn)，加入元數(shù)據(jù)判別機(jī)制和重要標(biāo)簽所包含關(guān)鍵詞的加權(quán)處理。分析了“隧道現(xiàn)象”的成

3、因和目前的處理方式，在Nutch原有的爬蟲部分源代碼加入“隧道處理”機(jī)制，以處理主題網(wǎng)頁分離的問題，并且修改了檢索結(jié)果排序的源代碼，在原有的基于鏈接相關(guān)度評分的基礎(chǔ)上加入了根據(jù)頁面主題相關(guān)度評分，使其更適應(yīng)垂直搜索引擎的要求。最終本文實現(xiàn)了一個港口物流信息垂直搜索引擎，從而實現(xiàn)了各個港口物流信息的快捷查詢和共享。實驗結(jié)果表明這些改進(jìn)提高了主題判別的準(zhǔn)確度和效率，使信息的定位和查找更加的精確，減少了不相關(guān)信息的干擾，并提高了系統(tǒng)對于互聯(lián)網(wǎng)