專業(yè)搜索引擎的數(shù)據(jù)存儲研究.pdf

1、組織好搜索引擎系統(tǒng)中動(dòng)態(tài)變化的海量數(shù)據(jù)是系統(tǒng)提供優(yōu)質(zhì)服務(wù)的基礎(chǔ)，所以研究系統(tǒng)的數(shù)據(jù)存儲在搜索引擎的研究中占有重要地位。專業(yè)搜索引擎中的數(shù)據(jù)有自己的特點(diǎn)和特殊的組織需要，因而研究專業(yè)搜索引擎系統(tǒng)的數(shù)據(jù)存儲問題對于專業(yè)搜索引擎的開發(fā)具有特殊的意義。 本文從以下四個(gè)方面對專業(yè)搜索引擎系統(tǒng)的數(shù)據(jù)存儲問題進(jìn)行探討：系統(tǒng)所需要的數(shù)據(jù)實(shí)體及實(shí)體間的關(guān)系，適合系統(tǒng)的數(shù)據(jù)壓縮算法，系統(tǒng)的索引編碼結(jié)構(gòu)設(shè)計(jì)和索引分布策略，系統(tǒng)數(shù)據(jù)的管理維護(hù)。對于系統(tǒng)

2、數(shù)據(jù)的壓縮設(shè)計(jì)和數(shù)據(jù)的索引設(shè)計(jì)是其中的關(guān)鍵問題，也是本文的著力所在。 在專業(yè)搜索引擎的數(shù)據(jù)壓縮中通過對網(wǎng)頁數(shù)據(jù)特點(diǎn)和專業(yè)分類數(shù)據(jù)的特征的分析，提出了將基于詞典和基于統(tǒng)計(jì)的算法相結(jié)合、靜態(tài)統(tǒng)計(jì)和動(dòng)態(tài)統(tǒng)計(jì)相綜合、壓縮基本單位以單字和高頻率詞相混合的的數(shù)據(jù)壓縮算法，該壓縮算法在測試中取得了不錯(cuò)的效果。 在設(shè)計(jì)專業(yè)搜索引擎的倒排索引結(jié)構(gòu)時(shí)，首先提出了基于數(shù)據(jù)庫的設(shè)計(jì)實(shí)現(xiàn)并且指出其不足，進(jìn)而提出了基于文件系統(tǒng)的倒排索引結(jié)構(gòu)。使用該