旅游信息垂直搜索系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著internet的迅速發(fā)展，網(wǎng)絡(luò)資源日益豐富，傳統(tǒng)的搜索引擎技術(shù)不加區(qū)分的從網(wǎng)絡(luò)上收集網(wǎng)頁，產(chǎn)生了大量用戶不需要的無關(guān)信息，大大影響了用戶的使用，為了更精確更迅速的獲得用戶關(guān)心的相關(guān)領(lǐng)域的信息，垂直搜索引擎技術(shù)應(yīng)運而生。垂直搜索引擎僅僅采集用戶指定的、與某一特定主題相關(guān)的頁面。 Nutch是一個剛剛誕生開放源代碼（open-source）的 web搜索引擎。它使用Lucene作為索引和檢索的模塊，其工作流程包括網(wǎng)頁搜集，預

2、處理和檢索模塊，具有與商用搜索引擎相同的工作流程，且其各功能模塊相對獨立，通過改造Nutch的相關(guān)功能模塊，可以迅速搭建一個垂直搜索引擎。 本文的工作目標是構(gòu)建一個基于垂直搜索引擎技術(shù)的旅游信息搜索網(wǎng)站，搜索引擎部分是一個中文主題搜索引擎，因此，中文處理的問題與主題相關(guān)性的問題是首要解決的重要問題。本文采用Nutch來構(gòu)建基本搜索引擎架構(gòu)，并修改了Nutch的兩個重要模塊，網(wǎng)頁搜集模塊和中文分詞模塊，使其能夠適應(yīng)垂直搜索的使用。

3、 在此基礎(chǔ)上，本文首先介紹了通用搜索引擎與垂直搜索引擎的不同，討論了通用搜索引擎的核心技術(shù)，以及垂直搜索引擎的技術(shù)特點，接著介紹了Nutch的工作原理，在搜索模塊中，本文采用了shark search算法實現(xiàn)主題相關(guān)網(wǎng)頁的抓取；網(wǎng)頁抓取下來后，使用向量空間模型進行主題相關(guān)度判定，將相關(guān)度低于一定閾值的URL去除；使用在中文分詞模塊中，本文改進了Nuteh基于單字切分的分詞方式，設(shè)計了一種新的詞典機制，并將一種新的分詞算法引入到分