基于固態(tài)硬盤的倒排索引動態(tài)更新策略及其優(yōu)化研究.pdf

1、全文檢索系統(tǒng)所面對的數(shù)據(jù)集通常是不斷增長的大量文本集,為了及時處理新增的文檔以滿足用戶的實時檢索需求,高效的在線倒排索引更新策略顯得尤為重要?，F(xiàn)有的倒排索引更新策略一般都是基于傳統(tǒng)磁盤(HardDiskDrive,簡稱HDD)的特性而設(shè)計的,相比高速的CPU,磁盤的低速I/O成為制約系統(tǒng)性能的主要瓶頸。新型存儲設(shè)備固態(tài)硬盤(SolidStateDisk,簡稱SSD)相對于機械磁盤HDD而言,最顯著的優(yōu)點就是其高速隨機存取能力。如能正確使

2、用SSD取代磁盤來存儲全文檢索系統(tǒng)的倒排索引數(shù)據(jù),將使得系統(tǒng)的綜合性能大大提升。然而SSD具有一些完全不同于HDD的特性,若直接采用現(xiàn)有的索引更新策略來維護(hù)SSD上的倒排索引,不僅不能充分發(fā)揮SSD的優(yōu)勢,還會影響其使用壽命。
　　首先通過實驗考察了現(xiàn)有的索引更新策略在SSD上的綜合表現(xiàn),分析了它們在SSD上的不適用性:單純的原地更新策略產(chǎn)生過多的隨機寫;基于合并的方法則產(chǎn)生大量額外的、意義并不大的寫操作,給SSD造成過多的負(fù)荷與

3、損耗。在實驗分析的結(jié)果之上,提出了設(shè)計適用于SSD的索引策略應(yīng)遵循的原則。
　　然后,設(shè)計了一種基于SSD的混合式索引更新策略。該策略充分利用SSD的高速隨機讀和較為高效的半隨機寫特性,將所有詞條根據(jù)其倒排列表的長度分為長詞和短詞兩大類,分別采取原地更新和不合并更新策略,既避免了效率低下的小數(shù)據(jù)隨機寫,又不產(chǎn)生合并導(dǎo)致的過多額外寫操作。與以往方法相比,實驗評估證明該策略具有很好的索引更新與檢索性能,且對SSD的損耗大大減少。