垂直搜索引擎的研究.pdf

1、隨著網頁信息量越來越大，采用通用搜索引擎搜索某一個方面的信息時覆蓋率和準確率低，回饋的內容不夠詳細，噪音過多，維護龐大的網頁索引庫特別困難，在信息的采集和存儲面臨著嚴峻的挑戰(zhàn)。由于通用搜索引擎存在以上的缺點垂直搜索引擎正好彌補了這些不足，它最大的特點是精，準，深。
　　 論文的主要工作如下：
　　 1.介紹了垂直搜索引擎，包括網絡蜘蛛，索引器，檢索器，用戶接口的體系構架和主題頁面分布特征、倒排序索引的建立和中文分詞等基本

2、技術。
　　 2.分析并研究了頁面的解析和抓取、與主題相關性判定、網頁收集和凈化等基本工作原理，優(yōu)化并且實現(xiàn)了一種頁面消重算法。
　　 3.利用lucene開發(fā)包實現(xiàn)了一個小型垂直搜索引擎。用網絡蜘蛛實現(xiàn)對各種類型的文檔的解析，包括文本、html、Word、pdf等格式，通過解析文檔來提取與主題有關的信息，同時實現(xiàn)了中文分詞、索引器和檢索器等模塊。
　　 4.論文對內容重復的網頁消重算法進行了改進和實現(xiàn)，它是對傳