基于Lucene搜索引擎的研究與應(yīng)用.pdf

1、搜索引擎是信息檢索必備的工具，也是一門非常適用的技術(shù)，雖然各大搜索引擎在不斷地完善和發(fā)展自己的技術(shù)，但是仍然滿足不了用戶的需求，隨著用戶的數(shù)量和互聯(lián)網(wǎng)的信息量不斷增加，對搜索引擎提出了更高的要求，如何從海量信息中快速地、準(zhǔn)確地獲取有價值的信息，成為各大搜索引擎研究的主題。
　　 本文應(yīng)用Lucene檢索工具包實現(xiàn)了搜索引擎的索引、檢索過程，并與PageRank算法相結(jié)合，改善了頁面排序算法；針對Nutcb系統(tǒng)中WebCrawle

2、r的不足，在網(wǎng)路蜘蛛的爬取策略、去熏技術(shù)和更新技術(shù)方面做了改進；分詞算法采用基于最大匹配算法和概率相結(jié)合的分詞算法；利用K-means的聚類算法實現(xiàn)了web文本聚類，提高了檢索結(jié)果的相關(guān)性；綜合利用各種技術(shù)，實現(xiàn)一個完整的搜索引擎系統(tǒng)。
　　 本文所做工作如下：
　　 第一、實現(xiàn)了基于Lucene全文索引和檢索的過程，并設(shè)計了最大匹配算法和概率相結(jié)合的分詞算法。
　　 第二、利用Nutch系統(tǒng)中的Web Craw

3、ler的基本模型，選取了PageRank算法作為網(wǎng)絡(luò)蜘蛛的爬取策略，使用基于URL和內(nèi)容的去重算法去除重復(fù)頁面，用Quartz作業(yè)調(diào)度系統(tǒng)實現(xiàn)了定時調(diào)用網(wǎng)絡(luò)爬蟲，完成了對本地頁面批量更新，進一步提高了信息的實時性。
　　 第三、針對PageRank和LUCelle排序算法的不足，改進了PageRank算法和Lucene自身排序算法．綜合利用兩種算法實現(xiàn)頁面排序，使排序結(jié)果更加合理；實現(xiàn)了web文本聚類，采用K-means聚類算法