基于TermID序列排序的標(biāo)識(shí)符重分配的倒排索引壓縮研究.pdf

1、由于信息科技的飛速發(fā)展，數(shù)據(jù)爆炸式增長，形成了人類史上前所未有的海量文本信息。面對(duì)海量的文本信息，倒排索引作為一種有效的全文索引技術(shù)，能夠快速準(zhǔn)確地幫助人們查找所需要的信息。但是海量的文本信息形成了規(guī)模龐大的倒排索引，其規(guī)模最大可達(dá)原文的300％，所以倒排索引的壓縮是十分必要的。
　　倒排索引生成算法的一般流程是docID分配、Posting Lists生成和Posting Lists壓縮。常見的標(biāo)識(shí)符分配算法有基于URL排序的標(biāo)

2、識(shí)符分配算法和基于交叉的標(biāo)識(shí)符重分配算法;常見的Posting Lists壓縮算法有Unary Code、Variable Byte Code、Simple-9和PForDelta等。
　　本文提出了基于TermID序列排序的標(biāo)識(shí)符重分配算法。通過遍歷已創(chuàng)建的倒排索引生成正排表，規(guī)定正排表內(nèi)termID序列的排序規(guī)則，并按照該規(guī)則對(duì)正排表中的文檔記錄進(jìn)行排序得到新順序的文檔序列，然后根據(jù)新的文檔順序依次為文檔分配新標(biāo)識(shí)符，重新創(chuàng)建

3、倒排索引。
　　本文實(shí)現(xiàn)了基于URL排序的標(biāo)識(shí)符分配算法(URL)、基于交叉的標(biāo)識(shí)符重分配算法(IBDA)、基于TermID序列排序的標(biāo)識(shí)符重分配算法(SBDRA)等標(biāo)識(shí)符分配算法和VByte、Simple-9、Simple-16、New PFD、Opt PFD、PForDelta等postinglists壓縮算法。使用Wikipedia網(wǎng)站文檔數(shù)據(jù)集，實(shí)現(xiàn)了18組混合交叉實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，對(duì)于大規(guī)模的文檔數(shù)據(jù)集，本文提出的基于