基于智能隧道的主題Web信息采集技術研究.pdf

1、由于Web上海量的信息處于不斷的變化中，通用搜索引擎己很難再為用戶提供一個準確并且更新及時的信息搜索服務，其局限性在于它試圖索引全部Web，并試圖服務于所有主題的查詢請求。與通用搜索引擎不同，垂直搜索引擎在主題Web信息采集時，通過對網頁的主題相關度進行預測和判斷，避開了大量主題無關的區(qū)域。由于只采集主題相關的網頁，垂直搜索引擎在查詢的準確率和效率上都有顯著的提高。垂直搜索引擎技術正成為越來越熱門的課題，而主題Web信息采集技術是垂直搜

2、索引擎的核心技術，該領域的研究具有較高的理論和實現價值。
　　 本文在研究傳統(tǒng)的主題Web信息采集技術的基礎上，提出了一種新的智能隧道算法。該算法將快速在線Q(λ))學習算法引入普通隧道技術中，通過在線學習積累爬行過程中的經驗，引導專業(yè)網絡爬蟲以最小的時空代價從主題相關度低的區(qū)域穿越到達主題相關度高的區(qū)域。實驗表明，與普通隧道相比，智能隧道算法降低了時空復雜度，提高了專業(yè)網絡爬蟲的性能與運行效率。
　　 本研究所做的主要

3、工作包括：
　　 ①介紹了垂直搜索引擎的基本原理和相關技術，并對垂直搜索引擎的系統(tǒng)框架進行了研究。
　　 ②對主題Web信息采集所涉及到的核心技術包括專業(yè)網絡爬蟲、相關度計算、爬行策略等進行了研究。
　　 ③在研究現有的隧道技術和快速在線Q(λ)學習算法基礎上，提出了一個智能隧道模型，并在該模型基礎上設計了一個智能隧道算法。該算法與普通隧道算法相比，有效地降低了時空復雜度，提高了專業(yè)網絡爬蟲的性能與運行效率。