Web網(wǎng)頁(yè)的時(shí)態(tài)文本索引研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，搜索引擎已成為許多人生活和工作中的重要工具。但是，由于網(wǎng)絡(luò)信息的快速增長(zhǎng)和用戶搜索要求的不斷提高，通用搜索引擎已經(jīng)不能滿足用戶對(duì)于信息檢索服務(wù)的需求。在許多網(wǎng)頁(yè)中，網(wǎng)頁(yè)內(nèi)容具有時(shí)間敏感性，比如商業(yè)新聞、出版信息、網(wǎng)上商店的折扣信息等。根據(jù)用戶提出的時(shí)態(tài)檢索請(qǐng)求準(zhǔn)確查找到相應(yīng)網(wǎng)頁(yè)對(duì)用戶很有價(jià)值。但是主流搜索引擎只能提供針對(duì)網(wǎng)頁(yè)更新時(shí)間的查詢，缺乏對(duì)網(wǎng)頁(yè)內(nèi)容時(shí)間的查詢能力，由此降低了查詢結(jié)果的有效性。因此建立一個(gè)時(shí)

2、態(tài)信息與文本信息相結(jié)合的網(wǎng)絡(luò)搜索引擎是未來(lái)搜索引擎發(fā)展的重要方向之一。
　　 本文以時(shí)態(tài)文本搜索引擎為背景，重點(diǎn)研究了結(jié)合Web網(wǎng)頁(yè)中的時(shí)間信息與關(guān)鍵字信息的時(shí)態(tài)文本索引問(wèn)題。通過(guò)對(duì)通用的關(guān)鍵字索引結(jié)構(gòu)和時(shí)態(tài)索引結(jié)構(gòu)進(jìn)行分析和改進(jìn)，提出了幾種時(shí)態(tài)文本索引結(jié)構(gòu)設(shè)計(jì)思路，并進(jìn)行了理論和實(shí)驗(yàn)上的比較，最終得出了性能評(píng)測(cè)較優(yōu)的一種索引。在此基礎(chǔ)上，對(duì)性能較優(yōu)的索引進(jìn)行再次改進(jìn)，進(jìn)一步提高索引性能，提高搜索引擎的查詢效率。本文的主要貢獻(xiàn)包

3、括：⑴提出了基于時(shí)態(tài)文本搜索引擎的混合索引結(jié)構(gòu)。針對(duì)時(shí)態(tài)文本搜索引擎中的網(wǎng)頁(yè)的時(shí)間信息的特征，本文將網(wǎng)頁(yè)的時(shí)間信息分成兩部分，一個(gè)是更新時(shí)間，一個(gè)是內(nèi)容時(shí)間。在此基礎(chǔ)上，我們提出了首要時(shí)間的概念，將它加入到索引處理中。我們以B+樹(shù)、倒排文件和MAP21 樹(shù)為基礎(chǔ)，研究并比較了五種混合索引結(jié)構(gòu)。通過(guò)在仿真數(shù)據(jù)集與真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)，在索引大小、磁盤I/O時(shí)間以及查詢時(shí)間的性能比較，得出“先倒排索引后MAP21 樹(shù)”的索引結(jié)構(gòu)具有較好的性能

4、。⑵提出了基于哈希的時(shí)態(tài)文本索引結(jié)構(gòu)?；诠５臅r(shí)態(tài)文本索引結(jié)構(gòu)是對(duì)先前驗(yàn)證的較好的“先倒排文件后MAP21 樹(shù)”的時(shí)態(tài)文本索引結(jié)構(gòu)的改進(jìn)。針對(duì)網(wǎng)絡(luò)的時(shí)間特征，特別地，對(duì)于時(shí)間信息的內(nèi)容時(shí)間的特征的具體分析，尤其是對(duì)于首要時(shí)間的研究，將內(nèi)容時(shí)間區(qū)間轉(zhuǎn)換成內(nèi)容時(shí)間點(diǎn)，將MAP21 樹(shù)用哈希表進(jìn)行替換，構(gòu)造出新型的時(shí)態(tài)文本索引結(jié)構(gòu)，提高查詢性能。通過(guò)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)，在索引大小，重建時(shí)間以及五種類型查詢的查詢時(shí)間的比較，得到哈希的時(shí)態(tài)文本