基于Lucene的垂直搜索引擎關鍵技術的研究應用.pdf

1、隨著Internet的飛速發(fā)展，Web中所容納的信息量越來越大，在存儲，信息采集等方面通用搜索引擎正面巨大的挑戰(zhàn)。而且，由于通用搜索引擎是面向各種各樣的用戶，它們的目的是保證在返回結果上做到面面俱到，但是各種各樣的結果實際上并不能滿足用戶對精確度高的搜索的需求。因此，面向專業(yè)領域的搜索引擎即垂直搜索引擎便應運而生。 和傳統(tǒng)的搜索引擎所不同的是，垂直搜索引擎的網絡蜘蛛只是采集Web中的一部分信息。通過對網頁的主題相關度進行預測和判

2、斷，專業(yè)網絡蜘蛛在爬行時就會避開大量的與主題無關的信息。由于只采集那些和主題相關的網頁，從而使垂直搜索引擎在查詢的準確率和效率上都有顯著的提高。目前，垂直搜索引擎的中文分詞和主題預測有待進一步提高精度，網絡蜘蛛的搜索策略也有待進一步改進以提高搜索引擎的覆蓋率和運行效率。 本文在分析目前常用的主題爬行策略的基礎之上，根據PageRank算法的思想，結合基于文本內容的啟發(fā)式策略和基于Web超鏈分析的策略二者之間的優(yōu)點，提出了一種新的

3、主題爬行策略，既可以利用鏈接分析擴大某個主題的資源覆蓋度，又可以保證搜索結果與主題的高度相關。 此外，本文通過研究和分析傳統(tǒng)的PageRank算法及其不足，在基于用戶點擊網頁內的各個鏈接的概率是不均等的情況下，提出一種基于概率的PageRank改進算法，該算法可以用于領域搜索引擎的主題相關度預測，能有效地避免主題漂移現象。 最后，基于Lucene框架和改進的Hertrix開源爬蟲框架，設計并構建了一個面向電子產品信息的垂