基于Nutch的農(nóng)業(yè)垂直搜索引擎的研究.pdf

1、目前，互聯(lián)網(wǎng)技術(shù)發(fā)展迅速，網(wǎng)絡(luò)信息資源迅速增加，搜索引擎為人們查詢互聯(lián)網(wǎng)信息提供了極大的便利。在我國，農(nóng)村人口眾多，農(nóng)業(yè)又是基礎(chǔ)產(chǎn)業(yè)，加快農(nóng)業(yè)信息化的建設(shè)步伐有助于有效的解決“三農(nóng)”問題，整合農(nóng)業(yè)信息資源，使我國農(nóng)業(yè)逐步走向信息農(nóng)業(yè)。有效的解決農(nóng)業(yè)用戶在生產(chǎn)、生活中遇到的各種農(nóng)業(yè)問題，可以促進(jìn)農(nóng)業(yè)信息化的發(fā)展，本文研究和開發(fā)了一個(gè)農(nóng)業(yè)領(lǐng)域的搜索引擎。
　　本文是基于開源軟件Nutch進(jìn)行開發(fā)的。Nutch是一個(gè)基于java語言的開

2、源項(xiàng)目，是一個(gè)輕量級且運(yùn)行穩(wěn)定的搜索引擎，有著較高的查全率和查準(zhǔn)率。不過，Nutch在網(wǎng)頁解析方面和摘要提取方面存在不足，不能滿足農(nóng)業(yè)用戶的搜索要求，本文對Nutch的這兩個(gè)方面進(jìn)行了改進(jìn)，并實(shí)現(xiàn)了搜索詞的查詢擴(kuò)展功能。
　　論文的主要工作如下:
　　(1)在網(wǎng)頁抓取策略中，采用廣度優(yōu)先算法進(jìn)行網(wǎng)頁信息的抓取，通過對爬行層數(shù)進(jìn)行限制，可以盡可能多的抓取農(nóng)業(yè)網(wǎng)站的網(wǎng)頁信息。
　　(2)在網(wǎng)頁解析技術(shù)中，采用STU-DOM

3、樹模型，利用HTML解析器將HTML轉(zhuǎn)換為一棵具有語義屬性的DOM樹，通過對其進(jìn)行結(jié)構(gòu)的過濾和內(nèi)容的剪枝，保留與主題相關(guān)的節(jié)點(diǎn)信息，實(shí)現(xiàn)網(wǎng)頁主題信息的提取功能。
　　(3)在摘要提取技術(shù)中，采用基于統(tǒng)計(jì)的摘要提取方法進(jìn)行文本摘要的提取。摘要的提取過程是以文本的形式特征為基礎(chǔ)的，通過對文本進(jìn)行分句，統(tǒng)計(jì)詞頻，計(jì)算出詞的權(quán)重和句子的權(quán)重，從而確定出摘要句，按照摘要句在文本中出現(xiàn)的先后順序，依次輸出，形成最終的摘要，實(shí)現(xiàn)摘要的提取功能。

4、
　　(4)在查詢擴(kuò)展技術(shù)中，通過構(gòu)建農(nóng)業(yè)領(lǐng)域本體，實(shí)現(xiàn)對農(nóng)業(yè)用戶查詢詞的擴(kuò)展。首先構(gòu)建農(nóng)業(yè)領(lǐng)域本體，并根據(jù)農(nóng)業(yè)本體中各概念的層次關(guān)系，獲取農(nóng)業(yè)用戶檢索詞的同義詞、下位詞和實(shí)例等相關(guān)詞，實(shí)現(xiàn)了語義層面的查詢擴(kuò)展。
　　本文研究和設(shè)計(jì)的基于Nutch的農(nóng)業(yè)垂直搜索引擎在河北省鹽山進(jìn)行了應(yīng)用，結(jié)果表明搜索技術(shù)可以實(shí)現(xiàn)農(nóng)業(yè)信息資源的整合，有效的過濾了與農(nóng)業(yè)無關(guān)的網(wǎng)頁信息，當(dāng)用戶檢索農(nóng)業(yè)信息時(shí)，本系統(tǒng)能夠?qū)λ阉鹘Y(jié)果進(jìn)行摘要的提取，方