高并發(fā)查詢條件下動態(tài)在線全文索引技術(shù)研究.pdf

1、隨著Internet的高速發(fā)展,互聯(lián)網(wǎng)信息量變得越來越龐大并保持高速增長。同時,互聯(lián)網(wǎng)的用戶規(guī)模也快速的增加,網(wǎng)民需要一種有效的工具快速的獲取信息。搜索引擎作為海量信息獲取的主要工具,其用戶規(guī)模和使用率因此也在不斷的攀升。作為搜索引擎服務(wù)的提供商,索引了海量、動態(tài)的網(wǎng)頁文件,面對的問題是如何在較短的時間內(nèi)響應(yīng)用戶的高并發(fā)查詢請求。
　　目前,主流的搜索引擎服務(wù)提供商采用分布式集群的方式分擔(dān)用戶的查詢負(fù)載。但是為了獲得全局最大的處理

2、效率,單個節(jié)點(diǎn)處理能力的提高是十分必要的。本文利用爬蟲采集的數(shù)據(jù),進(jìn)行在高并發(fā)查詢條件下動態(tài)在線全文索引技術(shù)研究,將索引高并發(fā)快速響應(yīng)的問題轉(zhuǎn)化為查詢結(jié)果讀取不阻塞的問題。主要工作包括以下幾點(diǎn):
　　(1)對倒排表存儲結(jié)構(gòu)設(shè)計和壓縮算法進(jìn)行研究。對于海量數(shù)據(jù)來說,索引文件較大,不能一次性讀入內(nèi)存當(dāng)中。因此系統(tǒng)需要通過查詢內(nèi)存中的詞表,獲得對應(yīng)的倒排表在磁盤中的位置后再將倒排表讀入到內(nèi)存中。在高并發(fā)查詢條件下,索引的壓縮率和索引的解

3、壓速度在很大程度上決定了查詢系統(tǒng)的效率。本文基于現(xiàn)有壓縮算法的基礎(chǔ)上，提出了自適應(yīng)分塊大小的VB_PForDelta壓縮算法,平衡了壓縮率和解壓速度。實驗證明,本文提出的方法具有較好的壓縮率和解壓速度。
　　(2)對緩存結(jié)構(gòu)和替換策略進(jìn)行研究。從磁盤中的索引文件中讀出倒排表存入到內(nèi)存中后,需要在內(nèi)存有限空間內(nèi)緩存一段時間。待下次查詢時加速響應(yīng)速度。本文提出一種基于歷史記錄特征的緩存結(jié)構(gòu)以及相適應(yīng)的替換算法HFC,通過查詢語句歷史出