基于事件驅(qū)動模型的搜索引擎的研究及原型系統(tǒng)設計.pdf

1、自因特網(wǎng)誕生以來,網(wǎng)絡信息以迅猛的速度爆炸似的增長,從傳統(tǒng)的通用搜索引擎到個性化服務的搜索引擎,其技術和服務理念都有了很大的發(fā)展,然而在一些領域仍然有很大的發(fā)展余地,尤其是在查詢結果的精度、無用戶日志記錄的個性化服務和用戶的隨機性關注主題的獲取方面還有很大的研究和發(fā)展空間,論文的主要目的就是解決四方面的問題:一是無用戶日志記錄的個性化推薦技術,二是用戶的隨機性關注主題的獲取與表示,三是用戶對文檔關注程度的分析,四是進一步提高搜索引擎返回

2、結果的精度。
　　 首先,介紹了傳統(tǒng)搜索引擎的與個性化服務的搜索引擎的工作原理、體系結構和主要技術,以及現(xiàn)有的個性化過濾技術本身的缺陷;其次,研究了搜索引擎其他相關理論和技術,如網(wǎng)絡爬蟲的工作原理、中文分詞技術的原理,如機械匹配的分詞方法、最大概率分詞和Lucene的中文分詞等,建立倒排索引的原理,檢索技術(布爾邏輯模型、空間向量模型和概率模型等)以及頁面排序技術(PageRank和權威中心頁面算法),為后面原型系統(tǒng)的設計和實現(xiàn)

3、提供理論基礎;然后,對基于事件驅(qū)動模型的搜索引擎的主要算法進行了詳細闡述,提出了基于用戶在頁面的停留時間來分析用戶對打開頁面的關注程度的算法,在獲取用戶的隨機關注主題以后,根據(jù)用戶對頁面的關注程度的算法,計算用戶對當前主題的關注程度,決定是否進行異步更新與該主題相關的信息,從而實現(xiàn)無用戶日志記錄存儲的個性化推薦技術;另外,結合Html文檔的結構和中文文章的寫作習慣,對關鍵詞的權重計算方式進行改進,以更加精確的表達文檔的主題特征,從而提高

4、搜索引擎的檢準率;最后設計了基于事件驅(qū)動模型的搜索引擎的系統(tǒng)原型,并使用Java和Lucent2.3技術實現(xiàn)了所設計系統(tǒng)的原型,主要有索引器、檢索器、過濾器、主題分析器和計時器。
　　 通過采用Heritrix搭建和改造網(wǎng)絡爬蟲來獲取網(wǎng)絡資源與實現(xiàn)的系統(tǒng)原型,驗證了所設計系統(tǒng)的可行性(包括隨機關注主題的獲取和用戶對打開文檔的關注程度的分析),并且對改進的關鍵詞權重計算算法進行驗證,充分說明了改進的算法有助于搜索引擎檢準率的提高。