基于SolrCloud平臺(tái)的分布式全文檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，海量數(shù)據(jù)不斷涌入人們的日常生活、學(xué)習(xí)和工作中，如何存儲(chǔ)和管理這些飛速增長(zhǎng)的數(shù)據(jù)？如何從已有的這些海量數(shù)據(jù)中將對(duì)自己有用的信息準(zhǔn)確高效地提??？面對(duì)這些日益嚴(yán)峻的挑戰(zhàn)和經(jīng)濟(jì)突飛猛進(jìn)地發(fā)展，各類政府機(jī)構(gòu)也對(duì)業(yè)務(wù)信息化有了越來越高的需求，專項(xiàng)網(wǎng)絡(luò)信息平臺(tái)的建立已經(jīng)成為當(dāng)務(wù)之急。從最初的政務(wù)信息化到今天，政府機(jī)構(gòu)已經(jīng)積累了大量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，對(duì)于審計(jì)廳來說，各種報(bào)表和法律法規(guī)文檔等全文數(shù)據(jù)更是數(shù)不勝數(shù)，這些數(shù)據(jù)都

2、需要記錄在案，當(dāng)進(jìn)行審計(jì)業(yè)務(wù)和審計(jì)法律法規(guī)重新修訂等工作時(shí)，工作人員不得不大量翻閱這些歷史文件。這種情況下僅僅利用原有的數(shù)據(jù)庫查詢功能，或者人工查閱實(shí)體文本資料將會(huì)嚴(yán)重影響工作效率，由此我們想到可以利用全文檢索技術(shù)來滿足政府機(jī)構(gòu)的以上需求。通過對(duì)審計(jì)廳資料庫內(nèi)的各種數(shù)據(jù)進(jìn)行全文索引，工作人員在需要某項(xiàng)信息時(shí)，可以檢索到各種類型的數(shù)據(jù)。由于審計(jì)工作都是分季度進(jìn)行的，所以在某個(gè)時(shí)段工作人員需要集中進(jìn)行操作。綜合以上分析，我們決定構(gòu)建一個(gè)分布

3、式的全文檢索系統(tǒng)來滿足審計(jì)廳的需求。本文利用基于Solr和ZooKeeper的分布式搜索方案，搭建Solr服務(wù)器集群，構(gòu)成SolrCloud平臺(tái)，在SolrCloud上創(chuàng)建、存儲(chǔ)和管理大型資料庫文檔和數(shù)據(jù)庫信息的索引，以此為基礎(chǔ)，構(gòu)建一個(gè)分布式的全文檢索系統(tǒng)。用戶可登陸系統(tǒng)，普通用戶可以對(duì)企業(yè)內(nèi)部大量文檔進(jìn)行檢索、預(yù)覽和下載等操作，除此之外，管理員還能上傳、存儲(chǔ)和管理這些文檔，從而達(dá)到機(jī)構(gòu)內(nèi)部資料共享的目的。
　　文中首先探討了全

4、文檢索和分布式搜索引擎的發(fā)展背景和研究現(xiàn)狀，詳細(xì)介紹了SolrCloud的架構(gòu)和特點(diǎn)，以及全文檢索的機(jī)理。接下來我們根據(jù)審計(jì)廳的具體要求，對(duì)分布式全文檢索系統(tǒng)在四個(gè)層面上進(jìn)行了需求分析，并對(duì)系統(tǒng)進(jìn)行了開發(fā)環(huán)境設(shè)計(jì)，總體設(shè)計(jì)和詳細(xì)設(shè)計(jì)，詳細(xì)設(shè)計(jì)中給出了SolrCloud服務(wù)器集群、分布式索引、分布式檢索的設(shè)計(jì)方案，隨后介紹了以上設(shè)計(jì)方案的具體實(shí)現(xiàn)方法，并對(duì)索引的創(chuàng)建和檢索響應(yīng)進(jìn)行了性能測(cè)試。文章最后對(duì)本文所做的全部工作進(jìn)行了簡(jiǎn)單的總結(jié)，并