分布式實時垂直搜索引擎研究與實現(xiàn).pdf

1、社交SNS、新聞等領域的高速發(fā)展使得人們愈發(fā)的關注在最快的時間內(nèi)獲取實效數(shù)據(jù)，從中挖掘到有價值的信息，實時搜索因此成為目前信息檢索的研究重點。通用搜索引擎擁有海量網(wǎng)頁信息集合，更關注于信息的全面性，Google對于最新網(wǎng)頁的索引更新平均耗費幾個小時，這樣的更新速度很難滿足網(wǎng)民的實時搜索需求。垂直搜索引擎專業(yè)領域性強、信息化集中程度高，目前的實時搜索研究集中在垂直搜索領域，實時垂直搜索針對特定領域和數(shù)據(jù)源，進行信息的快速檢索和展示，為下一

2、步的數(shù)據(jù)挖掘提供堅實的基礎，具有重大的研究價值與經(jīng)濟價值。
　　 實時搜索技術難點在于增量索引構建算法及分布式環(huán)境下的容災實現(xiàn)。本文首先研究了垂直搜索引擎和分布式系統(tǒng)基本工作原理。接著針對實時增量索引構建提出了內(nèi)存+磁盤并行化實時索引構建索引的RSearch算法，RSearch算法采用全量索引寫磁盤保證索引數(shù)據(jù)的一致性與完整性，實時增量索引直接寫內(nèi)存保證增量索引即時展現(xiàn)，內(nèi)存磁盤、寫滿后復制至磁盤生成從磁盤索引，采用M*N的分布

3、式模型切分大規(guī)模數(shù)據(jù)和滿足高并發(fā)的訪問需求，引入CommitLog同志機制，持久化實時索引請求，并設置Checkpoint異?；貪L時間點，保證實時索引的數(shù)據(jù)容災。
　　 在RSearch算法和Solr的基礎上，構建了分布式實時垂直搜索RSolr系統(tǒng)，并針對RSolr搜索系統(tǒng)中存在的性能瓶頸如區(qū)間查詢、排序、索引構建等性能進行了進一步優(yōu)化。實驗結果表明，相比較于Solr系統(tǒng)，RSolr系統(tǒng)在索引構建、搜索性能、實時展現(xiàn)、數(shù)據(jù)容災備