垂直搜索引擎關鍵技術研究及分布式實現.pdf

1、垂直搜索引擎的出現是互聯網服務向多樣化和專業(yè)化發(fā)展的必然趨勢。垂直搜索引擎的發(fā)展建立在通用搜索引擎的基礎上，提供精細化的垂直領域信息挖掘與搜索服務。
　　本文進行垂直搜索引擎關鍵技術及分布式研究，從文檔主題分類技術、垂直資源挖掘、主題Ranking模型研究以及分布式設計四個方面展開研究工作。文檔主題分類技術研究著重于借助LDA模型挖掘文檔的主題信息、識別文本的語義，強化搜索引擎的理解能力。而垂直資源挖掘研究則重點關注網絡的結構信息

2、和近鄰信息，并進行主題網絡爬蟲設計。主題Ranking模型研究旨在強化垂直搜索引擎的主題偏向性，保證搜索結果更具有專業(yè)性。研究分布式垂直搜索引擎設計則是為了使系統(tǒng)能夠適應實際的大數據應用場景而提出分布式解決方案。
　　本文首先闡述了垂直搜索引擎的研究背景、意義以及發(fā)展現狀，并結合通用搜索引擎的技術背景對垂直搜索引擎的關鍵技術和技術特性進行了描述。本文將LDA模型應用于垂直搜索引擎中的主題資源挖掘和用戶語義解讀，研究了不同文檔主題分

3、布的訓練語料庫對LDA模型主題分類性能的影響。然后在LDA主題模型的基礎上進行了拓展應用研究，基于貝葉斯公式提取主題種子詞庫，并研究得到了基于T-PMI的主題詞擴展方法。垂直搜索引擎區(qū)別于通用搜索引擎的一大特點是搜索主題的確定性，主題先驗信息可以幫助我們更好地理解用戶查詢，本文為此給出了一種主題分詞算法，一定程度上解決了分詞多義性的情況。
　　其次，本文在Shark-Search算法和HITS算法的基礎上改進得到了一種基于結構信息

4、和近鄰信息的鏈接分析算法，以此確立主題爬蟲的方向和范圍，并提出了自適應主題爬蟲策略，可以在實際的爬取過程中，根據反饋調整爬蟲的方向。本文在PageRank算法基礎上引入了主題相關度，給出了主題敏感PageRank算法，該算法摒棄了隨機游走模型，認為用戶瀏覽行為應該具有主題導向，來自同一主題頁面的鏈接更容易被用戶點擊到，因此該算法修正了PageRank算法的鏈接模型，增強了主題相關網頁的優(yōu)先級。
　　最后本文設計了一種分布式垂直搜索