搜索引擎中索引技術(shù)研究與實(shí)現(xiàn).pdf

1、本文主要圍繞搜索引擎中核心技術(shù)之一的倒排索引技術(shù)進(jìn)行展開(kāi)，主要包括索引的組織結(jié)構(gòu)，構(gòu)建過(guò)程，壓縮編碼技術(shù)，動(dòng)態(tài)更新技術(shù)，大規(guī)模數(shù)據(jù)存儲(chǔ)技術(shù)等，其中以索引壓縮、動(dòng)態(tài)更新和大規(guī)模數(shù)據(jù)存儲(chǔ)為研究重點(diǎn)，并在此的基礎(chǔ)上設(shè)計(jì)了一個(gè)用于實(shí)驗(yàn)環(huán)境的原型系統(tǒng)。 索引壓縮和編碼可以有效的節(jié)約存儲(chǔ)空間，減少I/O流量，提高系統(tǒng)吞吐率。壓縮的缺點(diǎn)是在對(duì)索引進(jìn)行處理的時(shí)需要解壓縮，比如查詢、更新，會(huì)占用一定的CPU時(shí)間。本文提出了一種混合編碼策略，其有效

2、地在壓縮率、解壓時(shí)間和動(dòng)態(tài)性能之間達(dá)到權(quán)衡。 索引動(dòng)態(tài)更新是為了支持在現(xiàn)實(shí)檢索環(huán)境下文本集頻繁地進(jìn)行變化的動(dòng)態(tài)檢索環(huán)境。本文對(duì)比了幾種動(dòng)態(tài)更新策略，對(duì)它們?cè)谒饕龢?gòu)建和動(dòng)態(tài)維護(hù)中通過(guò)實(shí)驗(yàn)進(jìn)行了對(duì)比分析。在此基礎(chǔ)上，針對(duì)實(shí)時(shí)性要求較高動(dòng)態(tài)檢索環(huán)境，對(duì)在線索引技術(shù)進(jìn)行了探討。在線索引是當(dāng)前研究的熱點(diǎn)和難點(diǎn)，其允許在動(dòng)態(tài)更新的同時(shí)提供檢索服務(wù)，以滿足高實(shí)時(shí)性的要求。 針對(duì)大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理問(wèn)題，設(shè)計(jì)了一種分布式數(shù)據(jù)存儲(chǔ)和處理