大豆主題垂直搜索引擎關(guān)鍵技術(shù)的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息資源呈現(xiàn)出爆炸性增長態(tài)勢，如何快速找到滿足用戶需求的信息成為越來越重要的問題。目前，搜索引擎已成為互聯(lián)網(wǎng)最重要的應(yīng)用之一，傳統(tǒng)的通用搜索引擎為所有用戶提供統(tǒng)一接口，但隨著信息量的持續(xù)增長，其已不能滿足特定領(lǐng)域用戶對信息準(zhǔn)確性、實時性和深度等多方面的個性化需求，因而，專門用來查詢某一學(xué)科領(lǐng)域或主題的搜索引擎即“垂直搜索引擎”應(yīng)運而生，并得到快速的發(fā)展和廣泛的應(yīng)用。
　　 本課題來源于星火計劃項目，

2、立足于糧食主產(chǎn)區(qū)農(nóng)業(yè)現(xiàn)實狀況，針對農(nóng)業(yè)信息化中普遍存在的信息資源共享程度低的問題，尤其是大豆產(chǎn)業(yè)信息化建設(shè)，為從事大豆生產(chǎn)加工、科研及流通工作的人員提供共享數(shù)據(jù)資源。本文采用垂直搜索技術(shù)對互聯(lián)網(wǎng)上農(nóng)業(yè)領(lǐng)域中的大豆相關(guān)信息進(jìn)行采集、過濾，為以“中國大豆網(wǎng)”為標(biāo)志的門戶網(wǎng)站構(gòu)建大豆信息庫，同時，設(shè)計了面向大豆主題的垂直搜索引擎構(gòu)架，對其關(guān)鍵技術(shù)開展研究，并實現(xiàn)了原型系統(tǒng)。本文的主要研究內(nèi)容如下:
　　 (1)首先，明確本文研究目的和

3、意義，分析垂直搜索引擎以及其在農(nóng)業(yè)領(lǐng)域中應(yīng)用的研究現(xiàn)狀和動態(tài);其次，對通用搜索引擎和垂直搜索引擎的發(fā)展、結(jié)構(gòu)、原理以及各自的優(yōu)劣進(jìn)行分析、比較，并基于大豆主題，對主題搜索引擎的系統(tǒng)結(jié)構(gòu)進(jìn)行設(shè)計。
　　 (2)網(wǎng)頁信息采集的核心是網(wǎng)絡(luò)蜘蛛，其自動地在互聯(lián)網(wǎng)上按照一定的搜索策略進(jìn)行搜索爬行，并將搜集的信息存儲到本地。主題網(wǎng)絡(luò)蜘蛛與通用網(wǎng)絡(luò)蜘蛛最大的區(qū)別是，前者是有選擇地抓取主題相關(guān)的頁面，而后者則是“見網(wǎng)頁就抓”。本文對主題網(wǎng)絡(luò)蜘蛛

4、的結(jié)構(gòu)、原理、搜索策略以及主題相關(guān)度分析算法進(jìn)行深入研究和分析，考慮鏈接錨文本和網(wǎng)頁標(biāo)題對相關(guān)度的影響以及鏈接陷阱問題，對已有的鏈接分析算法進(jìn)行改進(jìn)。
　　 (3)索引可以提高檢索效率，本文索引能夠有效提高管理與審核模塊加載數(shù)據(jù)的速度。索引對象是經(jīng)過中文分詞處理的網(wǎng)頁文檔，中文分詞就是將連續(xù)的字序列拆分成詞序列的過程。本文對已有的分詞算法和倒排索引技術(shù)以及開源Lucene索引框架的索引過程和搜索過程進(jìn)行研究，由于Lucene自帶

5、的中文分詞不夠精確，因此，采用基于IKAnalyzer分詞的Lucene索引框架。
　　 (4)基于上述研究，按照軟件工程學(xué)的理論對面向大豆主題的垂直搜索引擎原型系統(tǒng)進(jìn)行實現(xiàn)，主要是對該系統(tǒng)中的網(wǎng)頁信息采集、索引和管理與審核模塊進(jìn)行實現(xiàn)，最終為大豆門戶網(wǎng)站提供大豆相關(guān)數(shù)據(jù)。
　　 綜上所述，本文以國內(nèi)主要大豆網(wǎng)站為初始抓取的目標(biāo)網(wǎng)站（如中國農(nóng)產(chǎn)品交易網(wǎng)、中國糧油信息網(wǎng)、黑龍江省農(nóng)業(yè)信息網(wǎng)、天下糧倉等），基于Java技術(shù)對