搜索引擎精簡摘要緩存方法研究.pdf

1、在應(yīng)答一個來自用戶的查詢（query）時，現(xiàn)代搜索引擎會返回給用戶前個相關(guān)的查詢結(jié)果及其摘要。摘要是一小段摘選于文檔的文本，該段文本歸納了查詢詞與文檔的相關(guān)關(guān)系。生成摘要既需要消耗大量系統(tǒng) I/O來檢索文檔，又需要消耗大量的CPU來計算摘要。搜索引擎常常使用緩存技術(shù)來減少摘要生成過程的延遲。
　　固態(tài)硬盤（SolidState Drive，SSD）是一種新興的存儲介質(zhì)，它的I/O效率比傳統(tǒng)的機械硬盤（Hard Disk Drive

2、，HDD）快30倍到120倍。隨著固態(tài)硬盤的性價比逐步提高，搜索引擎公司開始用固態(tài)硬盤替換傳統(tǒng)機械硬盤。替換后搜索引擎系統(tǒng)I/O性能不斷提高，性能瓶頸從I/O轉(zhuǎn)變?yōu)镃PU計算。為了應(yīng)對固態(tài)硬盤帶來的變化，進一步提升系統(tǒng)性能，本文提出了一個簡單但有效的方法：用精簡摘要（Fragment）替換原始的摘要。精簡摘要在不改變摘要質(zhì)量的前提下，僅存儲摘要的位置信息。該方法空間利用率更高。返回摘要前精簡摘要需恢復為完整摘要。針對精簡摘要在恢復過程引

3、起的文檔檢索，本文提出了使用精簡文檔（Short Document）替換完整文檔的方法。精簡文檔同樣也能夠提高文檔緩存的空間利用率。
　　本文的主要工作包括：
　　1.為了減少平均摘要生成延遲，本文設(shè)計了摘要的精簡表示方法。精簡摘要記錄摘要在文檔中的位置信息。在返回摘要前，精簡摘要需要經(jīng)過計算才能恢復成完整摘要。在相同的緩存空間下，精簡摘要緩存的命中率遠高于完整摘要緩存命中率。精簡摘要緩存能夠大量避免重復摘要計算。精簡摘要恢

4、復完整摘要的過程會引起文檔檢索以及一小部分額外計算，額外計算增加的摘要生成延時遠小于精簡摘要高命中率減少的摘要生成延時。
　　2.為了減少在精簡摘要恢復過程引起的文檔檢索延遲，本文在精簡摘要的基礎(chǔ)上，設(shè)計了配套的精簡文檔緩存。與文檔緩存存儲整篇文檔不同，精簡文檔緩存僅存儲文檔中用來恢復完整摘要的句子。由于精簡文檔存儲的內(nèi)容更為精細，空間利用率更高，精簡文檔緩存能夠有效減少摘要恢復過程的I/O。配套精簡摘要緩存，精簡文檔緩存能夠進一