基于Lucene搜索引擎的研究與應(yīng)用.pdf

1、搜索引擎是信息檢索必備的工具，也是一門非常適用的技術(shù)，雖然各大搜索引擎在不斷地完善和發(fā)展自己的技術(shù)，但是仍然滿足不了用戶的需求，隨著用戶的數(shù)量和互聯(lián)網(wǎng)的信息量不斷增加，對(duì)搜索引擎提出了更高的要求，如何從海量信息中快速地、準(zhǔn)確地獲取有價(jià)值的信息，成為各大搜索引擎研究的主題。
　　 本文應(yīng)用Lucene檢索工具包實(shí)現(xiàn)了搜索引擎的索引、檢索過(guò)程，并與PageRank算法相結(jié)合，改善了頁(yè)面排序算法；針對(duì)Nutcb系統(tǒng)中WebCrawle

2、r的不足，在網(wǎng)路蜘蛛的爬取策略、去熏技術(shù)和更新技術(shù)方面做了改進(jìn)；分詞算法采用基于最大匹配算法和概率相結(jié)合的分詞算法；利用K-means的聚類算法實(shí)現(xiàn)了web文本聚類，提高了檢索結(jié)果的相關(guān)性；綜合利用各種技術(shù)，實(shí)現(xiàn)一個(gè)完整的搜索引擎系統(tǒng)。
　　 本文所做工作如下：
　　 第一、實(shí)現(xiàn)了基于Lucene全文索引和檢索的過(guò)程，并設(shè)計(jì)了最大匹配算法和概率相結(jié)合的分詞算法。
　　 第二、利用Nutch系統(tǒng)中的Web Craw

3、ler的基本模型，選取了PageRank算法作為網(wǎng)絡(luò)蜘蛛的爬取策略，使用基于URL和內(nèi)容的去重算法去除重復(fù)頁(yè)面，用Quartz作業(yè)調(diào)度系統(tǒng)實(shí)現(xiàn)了定時(shí)調(diào)用網(wǎng)絡(luò)爬蟲，完成了對(duì)本地頁(yè)面批量更新，進(jìn)一步提高了信息的實(shí)時(shí)性。
　　 第三、針對(duì)PageRank和LUCelle排序算法的不足，改進(jìn)了PageRank算法和Lucene自身排序算法．綜合利用兩種算法實(shí)現(xiàn)頁(yè)面排序，使排序結(jié)果更加合理；實(shí)現(xiàn)了web文本聚類，采用K-means聚類算法