一種基于后綴數(shù)組和倒排表的全文索引模型.pdf

1、全文檢索系統(tǒng)支持快速從海量文本數(shù)據(jù)中檢索信息，具有重要的應(yīng)用價(jià)值。全文索引模型是全文檢索系統(tǒng)的核心，它決定了全文檢索系統(tǒng)的功能與性能。全文索引模型設(shè)計(jì)為全文檢索研究領(lǐng)域的一個(gè)重要課題。
　　全文索引模型性能評(píng)價(jià)指標(biāo)包括索引查詢時(shí)間、索引構(gòu)造時(shí)間和索引存儲(chǔ)空間;功能評(píng)價(jià)指標(biāo)包括自索引、排序查詢、短語查詢和詞邊界未確定語言適應(yīng)性。
　　倒排索引模型查詢速度快、存儲(chǔ)空間小，可以提供排序查詢功能但是不能快速的支持短語查詢，不能很好適

2、應(yīng)中文等詞邊界未確定語言。后綴樹和后綴數(shù)組索引模型支持短語查詢與自索引功能并且對(duì)詞邊界未確定語言有很好適應(yīng)性但是不支持排序查詢。ST-PL和CII索引模型結(jié)合后綴樹索引和倒排索引的優(yōu)點(diǎn)。
　　本文提出了SA-PL索引模型，該模型利用后綴數(shù)組可以支持短語查詢、自索引和詞邊界未確定語言適應(yīng)性且與后綴樹相比存儲(chǔ)空間小的特點(diǎn)，將后綴數(shù)組與倒排表相結(jié)合。該模型在提供與ST-PL和CII相同功能的前提下提高查詢速度、減少存儲(chǔ)空間。
　　

3、根據(jù)SA-PL索引模型概念，設(shè)計(jì)了SA-PL-0索引模型。在SA-PL-0的基礎(chǔ)上提出一種通過移除較短倒排表對(duì)索引空間進(jìn)一步壓縮的索引模型SA-PL-1。
　　論文實(shí)現(xiàn)了SA-PL-0、SA-PL-1、ST-PL和CII索引模型。實(shí)驗(yàn)表明，SA-PL-0和SA-PL-1索引模型可以提供排序查詢、短語查詢和自索引功能并且對(duì)詞邊界未確定語言有很好適應(yīng)性，其索引存儲(chǔ)空間和索引查詢時(shí)間綜合性能顯著優(yōu)于ST-PL和CII索引模型。SA-PL