垂直搜索引擎設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本文首先簡(jiǎn)述了搜索引擎在如今信息時(shí)代的作用，并介紹了為滿足專業(yè)化領(lǐng)域需求的垂直搜索引擎。其次對(duì)搜索引擎中的爬蟲工具Heritrix進(jìn)行了深入的分析，研究了其工作過(guò)程、原理，就其提供的擴(kuò)展接口給出了具體的實(shí)現(xiàn)模式，主要用于對(duì)網(wǎng)頁(yè)信息的抓取過(guò)程中，該模式下如何減少無(wú)效網(wǎng)頁(yè)的冗余，實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容抓取的可控性。其次，對(duì)Lucene的主要功能模塊進(jìn)行了深入的研究分析，主要針對(duì)其在全文檢索系統(tǒng)運(yùn)用中所特有的優(yōu)勢(shì)進(jìn)行討論，并詳細(xì)研究了其源代碼，在此基礎(chǔ)

2、上概括出Lucene索引的建立過(guò)程，索引的結(jié)構(gòu)，檢索如何構(gòu)造以及檢索結(jié)果排序等核心機(jī)制的實(shí)現(xiàn)流程和原理。 最后本文在對(duì)Heritrix及Lucene分析的基礎(chǔ)上，論述了構(gòu)建一個(gè)具有全文檢索功能的搜索引擎系統(tǒng)的設(shè)計(jì)思想。該系統(tǒng)最終實(shí)現(xiàn)對(duì)網(wǎng)站內(nèi)數(shù)碼相機(jī)信息的抓取以及實(shí)現(xiàn)產(chǎn)品檢索功能。本文核心論述了如何以Heritrix作為爬蟲，通過(guò)對(duì)網(wǎng)站結(jié)構(gòu)的分析，對(duì)Heritrix進(jìn)行功能擴(kuò)展，達(dá)到提高信息的抓取效率的目的；并且利用Lucene建