Lucene排序算法研究及分布式系統(tǒng)實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速普及和數(shù)字信息的爆炸性增長，搜索引擎已經(jīng)成為人們獲取信息最有效的手段之一。作為由Java編寫的全文索引和檢索工具包，Lucene可以方便的嵌入到各種互聯(lián)網(wǎng)應(yīng)用中實現(xiàn)全文檢索功能，因此Lucene獲得了廣泛的應(yīng)用。但是，隨著數(shù)據(jù)量的不斷增大和用戶搜索請求的并發(fā)量增多，基于單機的Lucene搜索服務(wù)在索引構(gòu)建、索引存儲和搜索響應(yīng)時間上已經(jīng)不能滿足人們的需求，進而關(guān)注于基于分布式的Lucene搜索和排序方法研究。
　

2、　針對Lucene基于向量空間模型的排序方法對字段長度短和詞頻高的文檔敏感因而得分較高這一缺陷，本文圍繞排序算法、IK中文分詞和多域搜索三個方面來進行改進方法研究。首先通過例證分析了Lucene排序算法存在的不足，并針對應(yīng)用中用戶希望能夠?qū)ⅰ捌ヅ涞皆蕉嗖樵冊~的文檔越往前排”和大多數(shù)用戶“對長度在某一區(qū)間的文檔更感興趣”的需求，提出了一種調(diào)整Coord和LengthNorm因子計算方式的改進排序算法，通過實驗證明改進后的排序算法在P@10

3、和Map兩個指標上優(yōu)于原算法。本文還通過設(shè)定自定義詞典和采用智能分詞相結(jié)合的方式解決了IK中文分詞中因分詞不恰當而導致的搜索結(jié)果不準問題。在多域搜索中，本文針對視頻搜索業(yè)務(wù)中的多字段排序問題，給出了利用層次分析法設(shè)置查詢權(quán)重的解決方案，并通過實驗驗證可行。最后，本文給出了一種利用Lucene實現(xiàn)的基于距離的過濾和排序方案，以實現(xiàn)業(yè)內(nèi)熱門的地圖搜索功能。
　　針對單機Lucene處理海量數(shù)據(jù)時的性能問題，本文設(shè)計了基于Hadoop平