基于Solr的海量數(shù)據(jù)并行索引及搜索緩存研究.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的快速發(fā)展，企業(yè)信息化程度不斷提高，各個(gè)行業(yè)內(nèi)的數(shù)據(jù)信息急劇增長，而且信息的存在形式也越來越多樣。這也使得如何使用戶能夠快速、精確的從企業(yè)的海量數(shù)據(jù)中找出所需要的關(guān)鍵信息變得越來越重要，而解決這一個(gè)問題的關(guān)鍵就是搜索引擎技術(shù)。隨著開源企業(yè)級搜索應(yīng)用服務(wù)器Solr的出現(xiàn)，越來越多的企業(yè)開始構(gòu)建以此為基礎(chǔ)的海量數(shù)據(jù)搜索服務(wù)系統(tǒng)。
　　傳統(tǒng)的搜索方式是使用文本數(shù)據(jù)庫，雖然文本數(shù)據(jù)庫和搜索引擎的技術(shù)基礎(chǔ)都是全文檢索技術(shù)，

2、但是文本數(shù)據(jù)庫在處理海量數(shù)據(jù)方面的能力無法跟搜索引擎相媲美。搜索引擎采用服務(wù)器集群和分布式計(jì)算的策略，能夠處理較大的數(shù)據(jù)量。在海量數(shù)據(jù)的背景下，如何更好地利用開源Solr搜索引擎服務(wù)器搭建起快速高效的搜索引擎也成為重要的研究課題之一。
　　本文針對這種需求，在基于Solr搜索引擎服務(wù)器的基礎(chǔ)上，進(jìn)行海量數(shù)據(jù)搜索服務(wù)的研究。本文首先分析搜索引擎服務(wù)器集群的運(yùn)行特點(diǎn)，運(yùn)用隨機(jī)過程中的排隊(duì)模型對集群系統(tǒng)的可用性進(jìn)行分析。接著在可用性的基

3、礎(chǔ)上深入研究搜索引擎的索引構(gòu)建和搜索索引兩個(gè)關(guān)鍵過程。索引構(gòu)建的過程是將文本轉(zhuǎn)化為能夠被搜索引擎搜索的索引文件。本文在分析的基礎(chǔ)上提出并行索引的方式，將文檔構(gòu)建索引過程中的部分串行操作并行化，并通過性能負(fù)載均衡的策略提高各節(jié)點(diǎn)的資源利用率，以應(yīng)對海量數(shù)據(jù)構(gòu)建索引的場景，加速索引的構(gòu)建。對于搜索的過程，本文首先分析Solr的搜索過程，提出分級緩存模型。模型將頻繁搜索的熱點(diǎn)數(shù)據(jù)放置在緩存中，并對緩存數(shù)據(jù)進(jìn)行分級，同時(shí)提出熱相關(guān)數(shù)據(jù)的概念，通