時間感知的Web搜索研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術的飛速發(fā)展，Web信息呈現(xiàn)出爆炸式增長的趨勢。海量的Web信息使得人們快速查找到真正需要的信息變得十分困難，因而也帶動了搜索引擎技術的快速發(fā)展。搜索引擎通過爬蟲在互聯(lián)網(wǎng)中搜集大量的網(wǎng)頁，然后運用一定的方法對網(wǎng)頁處理后進行索引和存儲，并通過有效的排序算法返回與用戶查詢相關的結(jié)果。目前，搜索引擎已經(jīng)成為人們獲取Web信息的重要工具，優(yōu)化搜索引擎的性能也成為目前Web領域的一個熱點問題?，F(xiàn)有搜索引擎的一個主要問題是對于We

2、b網(wǎng)頁的時間信息缺乏有效的處理技術。時間信息和我們的日常生活息息相關。在日常的Web搜索行為中，人們也常常將時間信息作為查詢詞提交給搜索引擎進行查詢。已有研究表明，在用戶提交的查詢中，有約1.5％的查詢包含了顯式的時間約束，有約7％的查詢包含了隱式的時間約束。另外，在本文的實驗中我們發(fā)現(xiàn)，平均每個新聞網(wǎng)頁都包含了5個左右的時間表達式。這些都說明了時間信息對于網(wǎng)頁以及用戶查詢的重要性。而現(xiàn)在的搜索引擎對查詢中的時間核心詞僅僅作為普通文本核

3、心詞來處理，在索引、排序等過程中也只考慮了網(wǎng)頁的發(fā)布時間，缺乏對網(wǎng)頁內(nèi)容時間和查詢中的時間信息的抽取和分析，因此不能很好地理解用戶的查詢意圖，也不能將時間信息有效地結(jié)合到查詢結(jié)果的排序算法中，最終導致搜索引擎在回答時間相關類用戶查詢時難以獲得好的查詢效果。
　　本文針對現(xiàn)有搜索引擎缺乏有效的時間感知搜索能力的現(xiàn)狀，研究了時間感知搜索中的若干關鍵問題，提出了一系列的解決方法。論文首先闡述了時間感知搜索的研究背景和意義，分析了時間感知

4、搜索研究中存在的問題和挑戰(zhàn)，在此基礎上圍繞網(wǎng)頁時間抽取、時間感知的網(wǎng)頁排序、查詢時間擴展、時間感知搜索原型系統(tǒng)等問題開展了深入研究。主要內(nèi)容包括：⑴針對現(xiàn)有的研究很少區(qū)分網(wǎng)頁中的時間表達式和網(wǎng)頁內(nèi)容的相關程度的問題，提出了一種基于網(wǎng)頁時間表達式出現(xiàn)次數(shù)和時間表達式之間的包含關系的網(wǎng)頁首要時間抽取算法。該算法不是僅考慮網(wǎng)頁時間表達式出現(xiàn)的次數(shù)，而且還考慮了時間的內(nèi)在含義，更加適合于我們對于文本理解，同時網(wǎng)頁顯式時間和隱式時間具有不同的抽取

5、精度的問題也被考慮在內(nèi)，算法得到了較高的準確率。⑵針對現(xiàn)有的時間感知排序算法對網(wǎng)頁內(nèi)容時間以及網(wǎng)頁和時間表達式相關程度考慮不足的問題，本文提出了一個基于網(wǎng)頁首要時間的時間感知排序算法。該算法充分考慮網(wǎng)頁中出現(xiàn)的內(nèi)容時間，同時對網(wǎng)頁中出現(xiàn)的每一個時間表達式都定義了和網(wǎng)頁內(nèi)容的相關性權重，另外，該算法也考慮了顯式時間和隱式時間的抽取精度的問題，相對于其它對比算法，本文提出的方法具有更好的性能。⑶針對用戶在提出查詢時不知道確切的時間約束的問題

6、，本文提出了一個基于權重矩陣的查詢時間擴展算法。該算法通過對網(wǎng)頁的內(nèi)容進行分析，考慮網(wǎng)頁內(nèi)容中時間表達式和文本核心詞的共現(xiàn)關系，得到兩者的相關程度，在用戶提出相應的查詢關鍵字的時候返回根據(jù)相關度排序的時間詞候選列表。該方法通過網(wǎng)頁的內(nèi)容進行分析，只要網(wǎng)頁錄入了搜索引擎的索引庫，就能及時的對擴展時間詞進行更新，具有很強的及時性，這種方法得到的候選時間詞具有很高的準確率。⑷針對現(xiàn)有的時間感知排序算法沒有統(tǒng)一的平臺的問題，本文實現(xiàn)了一個時間感