基于Lucene的Web搜索引擎的研究.pdf

1、隨著網(wǎng)絡(luò)信息量正不斷地以指數(shù)規(guī)模增長(zhǎng)，人類已步入信息爆炸時(shí)代。面對(duì)浩如煙海的網(wǎng)絡(luò)信息，如何才能迅速、方便地獲取有效信息，日益成為人們關(guān)心的問題。搜索引擎的出現(xiàn)極大地緩解了這一矛盾。搜索引擎是一種應(yīng)用在Web上的軟件系統(tǒng)，它以一定的策略在互聯(lián)網(wǎng)中進(jìn)行搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的。
　　 在當(dāng)前網(wǎng)絡(luò)信息的大環(huán)境里，網(wǎng)絡(luò)上出現(xiàn)了很多商業(yè)性的Web搜索引擎，如Google

2、、Baidu、Sougo等，他們極大地方便了網(wǎng)絡(luò)用戶。但由于他們的商業(yè)性質(zhì)，其關(guān)鍵技術(shù)對(duì)于外界是保密的。為推進(jìn)搜索引擎技術(shù)的發(fā)展，Apache基金會(huì)推出了一個(gè)開源的全文搜索引擎工具包Lucene。Lucene可以方便地嵌入到各種應(yīng)用中，實(shí)現(xiàn)針對(duì)具體應(yīng)用的全文檢索功能，近些年來在世界各地被廣泛應(yīng)用。本文在現(xiàn)有搜索引擎理論的基礎(chǔ)上，以Lucene為基礎(chǔ)，并結(jié)合XML數(shù)據(jù)存儲(chǔ)的思想，從不同層次研究了以Lucene為核心的搜索引擎的構(gòu)建。

3、>　　 本文的主要工作體現(xiàn)在以下三個(gè)方面：
　　 1.分析了當(dāng)前搜索引擎的工作機(jī)制和關(guān)鍵技術(shù)，特別深刻地剖析了Lucene的索引引擎機(jī)制和搜索引擎機(jī)制，并在此基礎(chǔ)上設(shè)計(jì)了基于Lucene的Web搜索引擎架構(gòu)。
　　 2.對(duì)于編寫要求不嚴(yán)謹(jǐn)?shù)腍TML實(shí)現(xiàn)的網(wǎng)頁要真正做到高效準(zhǔn)確的挖掘數(shù)據(jù)非常困難。相對(duì)于HTML，XML可以更好地實(shí)現(xiàn)Web中的信息共享與交換。本文提出了XML數(shù)據(jù)抽取模塊的設(shè)計(jì)思想，采用XML文件存儲(chǔ)準(zhǔn)備被