大豆主題垂直搜索引擎關(guān)鍵技術(shù)的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息資源呈現(xiàn)出爆炸性增長(zhǎng)態(tài)勢(shì)，如何快速找到滿(mǎn)足用戶(hù)需求的信息成為越來(lái)越重要的問(wèn)題。目前，搜索引擎已成為互聯(lián)網(wǎng)最重要的應(yīng)用之一，傳統(tǒng)的通用搜索引擎為所有用戶(hù)提供統(tǒng)一接口，但隨著信息量的持續(xù)增長(zhǎng)，其已不能滿(mǎn)足特定領(lǐng)域用戶(hù)對(duì)信息準(zhǔn)確性、實(shí)時(shí)性和深度等多方面的個(gè)性化需求，因而，專(zhuān)門(mén)用來(lái)查詢(xún)某一學(xué)科領(lǐng)域或主題的搜索引擎即“垂直搜索引擎”應(yīng)運(yùn)而生，并得到快速的發(fā)展和廣泛的應(yīng)用。
　　 本課題來(lái)源于星火計(jì)劃項(xiàng)目，

2、立足于糧食主產(chǎn)區(qū)農(nóng)業(yè)現(xiàn)實(shí)狀況，針對(duì)農(nóng)業(yè)信息化中普遍存在的信息資源共享程度低的問(wèn)題，尤其是大豆產(chǎn)業(yè)信息化建設(shè)，為從事大豆生產(chǎn)加工、科研及流通工作的人員提供共享數(shù)據(jù)資源。本文采用垂直搜索技術(shù)對(duì)互聯(lián)網(wǎng)上農(nóng)業(yè)領(lǐng)域中的大豆相關(guān)信息進(jìn)行采集、過(guò)濾，為以“中國(guó)大豆網(wǎng)”為標(biāo)志的門(mén)戶(hù)網(wǎng)站構(gòu)建大豆信息庫(kù)，同時(shí)，設(shè)計(jì)了面向大豆主題的垂直搜索引擎構(gòu)架，對(duì)其關(guān)鍵技術(shù)開(kāi)展研究，并實(shí)現(xiàn)了原型系統(tǒng)。本文的主要研究?jī)?nèi)容如下:
　　 (1)首先，明確本文研究目的和

3、意義，分析垂直搜索引擎以及其在農(nóng)業(yè)領(lǐng)域中應(yīng)用的研究現(xiàn)狀和動(dòng)態(tài);其次，對(duì)通用搜索引擎和垂直搜索引擎的發(fā)展、結(jié)構(gòu)、原理以及各自的優(yōu)劣進(jìn)行分析、比較，并基于大豆主題，對(duì)主題搜索引擎的系統(tǒng)結(jié)構(gòu)進(jìn)行設(shè)計(jì)。
　　 (2)網(wǎng)頁(yè)信息采集的核心是網(wǎng)絡(luò)蜘蛛，其自動(dòng)地在互聯(lián)網(wǎng)上按照一定的搜索策略進(jìn)行搜索爬行，并將搜集的信息存儲(chǔ)到本地。主題網(wǎng)絡(luò)蜘蛛與通用網(wǎng)絡(luò)蜘蛛最大的區(qū)別是，前者是有選擇地抓取主題相關(guān)的頁(yè)面，而后者則是“見(jiàn)網(wǎng)頁(yè)就抓”。本文對(duì)主題網(wǎng)絡(luò)蜘蛛

4、的結(jié)構(gòu)、原理、搜索策略以及主題相關(guān)度分析算法進(jìn)行深入研究和分析，考慮鏈接錨文本和網(wǎng)頁(yè)標(biāo)題對(duì)相關(guān)度的影響以及鏈接陷阱問(wèn)題，對(duì)已有的鏈接分析算法進(jìn)行改進(jìn)。
　　 (3)索引可以提高檢索效率，本文索引能夠有效提高管理與審核模塊加載數(shù)據(jù)的速度。索引對(duì)象是經(jīng)過(guò)中文分詞處理的網(wǎng)頁(yè)文檔，中文分詞就是將連續(xù)的字序列拆分成詞序列的過(guò)程。本文對(duì)已有的分詞算法和倒排索引技術(shù)以及開(kāi)源Lucene索引框架的索引過(guò)程和搜索過(guò)程進(jìn)行研究，由于Lucene自帶

5、的中文分詞不夠精確，因此，采用基于IKAnalyzer分詞的Lucene索引框架。
　　 (4)基于上述研究，按照軟件工程學(xué)的理論對(duì)面向大豆主題的垂直搜索引擎原型系統(tǒng)進(jìn)行實(shí)現(xiàn)，主要是對(duì)該系統(tǒng)中的網(wǎng)頁(yè)信息采集、索引和管理與審核模塊進(jìn)行實(shí)現(xiàn)，最終為大豆門(mén)戶(hù)網(wǎng)站提供大豆相關(guān)數(shù)據(jù)。
　　 綜上所述，本文以國(guó)內(nèi)主要大豆網(wǎng)站為初始抓取的目標(biāo)網(wǎng)站（如中國(guó)農(nóng)產(chǎn)品交易網(wǎng)、中國(guó)糧油信息網(wǎng)、黑龍江省農(nóng)業(yè)信息網(wǎng)、天下糧倉(cāng)等），基于Java技術(shù)對(duì)