基于Lucene網(wǎng)頁排名改進(jìn)的分布式搜索系統(tǒng).pdf

1、近年來，互聯(lián)網(wǎng)信息量日益龐大，如何從海量數(shù)據(jù)中高效準(zhǔn)確定位到目標(biāo)信息成為搜索引擎的一大挑戰(zhàn)。構(gòu)建大規(guī)模集群實(shí)現(xiàn)對目標(biāo)信息的分布式并行搜索是應(yīng)對上述問題的重要途徑，這為分布式搜索領(lǐng)域的高速發(fā)展提供了土壤，許多與此相關(guān)的技術(shù)很快出現(xiàn)，如Hadoop、Spark等，與此同時，對信息進(jìn)行準(zhǔn)確篩選與過濾顯得尤為重要，這便要求完善信息評判機(jī)制，以實(shí)現(xiàn)對信息的有效甄別。
　　在上述前提下，本文深入分析了搜索引擎的相關(guān)原理和實(shí)現(xiàn)機(jī)制，詳細(xì)介紹了H

2、adoop相關(guān)技術(shù)和開源工具Lucene相關(guān)技術(shù)，并在此基礎(chǔ)上展開了構(gòu)建高性能搜索引擎的研究工作。首先，為實(shí)現(xiàn)信息采集過程中URL高效過濾與去重，本文采用嵌入式數(shù)據(jù)庫BerkeleyDB記錄已處理鏈接隊(duì)列，BerkeleyDB與調(diào)用程序共享內(nèi)存空間保證了訪問的快捷性。其次，本文采用追加方式進(jìn)行索引更新，針對新加入數(shù)據(jù)不必重建整個索引，而是為新數(shù)據(jù)單獨(dú)生成索引文件，并且可以獨(dú)立訪問。當(dāng)追加索引文件個數(shù)達(dá)到閾值時引發(fā)合并操作，本文通過實(shí)驗(yàn)選

3、取了最優(yōu)閾值大大提高了構(gòu)建索引的效率。然后，分析了已有的幾種網(wǎng)頁評分算法的優(yōu)缺點(diǎn)，基于Lucene固有的網(wǎng)頁評分算法做出了改進(jìn)，提出了基于詞頻位置加權(quán)和文檔新鮮度的網(wǎng)頁評分算法，本算法不單是關(guān)注查詢關(guān)鍵詞在網(wǎng)頁中出現(xiàn)的次數(shù)，還將查詢詞在網(wǎng)頁中出現(xiàn)的位置以及網(wǎng)頁的新鮮程度作為網(wǎng)頁得分的重要影響因子，這種方式能夠更加全面地評判網(wǎng)頁的優(yōu)劣程度。
　　最后，本文先基于開源Java工具包Lucene構(gòu)建出單節(jié)點(diǎn)搜索子系統(tǒng)，子系統(tǒng)具備完整搜索