基于Lucene和Heritrix構(gòu)建搜索引擎的研究和示例實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息資源的急劇增長(zhǎng)，人們?cè)絹?lái)越多地關(guān)注如何快速有效地從網(wǎng)絡(luò)信息中，抽取出潛在的、有價(jià)值的信息，使之有效地在管理和決策中發(fā)揮作用。 搜索引擎(SearchEngine)網(wǎng)站是指因特網(wǎng)上專門提供查詢服務(wù)的一類網(wǎng)站，這些網(wǎng)站通過(guò)網(wǎng)絡(luò)搜索軟件(又稱為網(wǎng)絡(luò)搜索機(jī)器人)或網(wǎng)站登錄等方式，收集因特網(wǎng)上大量網(wǎng)站的頁(yè)面，經(jīng)過(guò)加工處理后建庫(kù)，從而能夠?qū)τ脩籼岢龅母鞣N查詢作出響應(yīng)，提供用戶所需的信息。 自1994年起至今，伴隨著因特網(wǎng)

2、的日益發(fā)展壯大以及Web信息量的迅速膨脹，Web搜索引擎技術(shù)己經(jīng)經(jīng)歷了三個(gè)發(fā)展階段：集中式檢索階段、分布式檢索階段和智能化檢索階段。當(dāng)前搜索引擎研究主要集中在自動(dòng)化、智能化檢索和提高檢索結(jié)果的精確度上。今后搜索引擎還將不斷擴(kuò)展附加功能，以主題化檢索為特征，以適應(yīng)不同層次用戶的個(gè)人化信息檢索需求。 論文首先介紹了Lucene這種在開(kāi)源社區(qū)里構(gòu)建全文檢索系統(tǒng)和搜索引擎使用得最廣泛的技術(shù)，分析了它的架構(gòu)以及主要工作原理。構(gòu)建搜索引擎，

3、需要使用網(wǎng)絡(luò)爬蟲(chóng)對(duì)網(wǎng)絡(luò)資源進(jìn)行分析，抓取。接下來(lái)，論文就對(duì)網(wǎng)絡(luò)爬蟲(chóng)Heritrix進(jìn)行了深入的分析，對(duì)各個(gè)核心部件進(jìn)行了詳細(xì)介紹。然后，在前面研究的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)搜索引擎示例，演示了它的功能，論文對(duì)示例的設(shè)計(jì)思路，實(shí)現(xiàn)細(xì)節(jié)進(jìn)行了闡述。論文的最后一章，在深入分析高級(jí)搜索技術(shù)的基礎(chǔ)上，對(duì)性能提升的策略進(jìn)行了總結(jié)，實(shí)現(xiàn)了搜索優(yōu)化以及性能提升。在附錄部分，對(duì)Lucene的分析器進(jìn)行了分析，并且實(shí)現(xiàn)了一個(gè)中文分析器，加入到示例中，提高了示