基于Lucene的垂直搜索引擎的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)信息資源的數(shù)量呈現(xiàn)出數(shù)量級的遞增。傳統(tǒng)的搜索引擎由于不能獲取即時更新的網(wǎng)絡(luò)信息資源,在面對用戶的即時性查詢或者深度而專業(yè)的搜索請求時,便顯得力不從心。在這種情況下,面向特定領(lǐng)域的垂直搜索引擎便產(chǎn)生了,相對于通用搜索引擎的查詢不準(zhǔn)確以及深度不夠等局限性,垂直搜索引擎的產(chǎn)生正是為了滿足用戶專業(yè)而有深度的搜索請求服務(wù)的。
　　垂直搜索引擎專注于特定的一個領(lǐng)域,比如房產(chǎn)、旅游、汽車、教育等。提供專一化、有深度

2、的信息檢索服務(wù)。和通用搜索引擎相比,垂直搜索引擎的查詢結(jié)果是和特定行業(yè)或特定領(lǐng)域相關(guān)的,由于相關(guān)的信息量較少,能夠及時更新,這樣就保證了查詢結(jié)果的實時性和準(zhǔn)確性。
　　本文首先介紹了垂直搜索引擎的研究背景和研究意義,以及垂直搜索引擎的發(fā)展現(xiàn)狀等。接著對垂直搜索引擎關(guān)鍵技術(shù)進(jìn)行了介紹,主要包括網(wǎng)絡(luò)爬蟲的抓取過程和爬行策略,網(wǎng)頁的主題信息提取算法、網(wǎng)頁排序算法。
　　接著對經(jīng)典的網(wǎng)頁排序算法進(jìn)行了研究,包括PageRank算法,

3、HITS算法。本文是在標(biāo)準(zhǔn)PageRank算法的基礎(chǔ)上,添加了網(wǎng)頁相似度判斷的因子,以及表示網(wǎng)頁新舊程度的時間因子。通過對PageRank算法的改進(jìn),能夠較好的改善標(biāo)準(zhǔn)算法中存在的主題漂移以及查詢結(jié)果偏重舊網(wǎng)頁的問題,從而較好的改進(jìn)了排序的結(jié)果。
　　然后對開源Lucene及其關(guān)鍵技術(shù)進(jìn)行了詳細(xì)闡述,主要包括Lucene的系統(tǒng)組成、索引過程、評分機制及其檢索過程。
　　最后,通過研究垂直搜索引擎的關(guān)鍵技術(shù),分析并設(shè)計了垂直搜