基于智能隧道的主題Web信息采集技術(shù)研究.pdf

1、由于Web上海量的信息處于不斷的變化中，通用搜索引擎己很難再為用戶提供一個(gè)準(zhǔn)確并且更新及時(shí)的信息搜索服務(wù)，其局限性在于它試圖索引全部Web，并試圖服務(wù)于所有主題的查詢請求。與通用搜索引擎不同，垂直搜索引擎在主題Web信息采集時(shí)，通過對網(wǎng)頁的主題相關(guān)度進(jìn)行預(yù)測和判斷，避開了大量主題無關(guān)的區(qū)域。由于只采集主題相關(guān)的網(wǎng)頁，垂直搜索引擎在查詢的準(zhǔn)確率和效率上都有顯著的提高。垂直搜索引擎技術(shù)正成為越來越熱門的課題，而主題Web信息采集技術(shù)是垂直搜

2、索引擎的核心技術(shù)，該領(lǐng)域的研究具有較高的理論和實(shí)現(xiàn)價(jià)值。
　　 本文在研究傳統(tǒng)的主題Web信息采集技術(shù)的基礎(chǔ)上，提出了一種新的智能隧道算法。該算法將快速在線Q(λ))學(xué)習(xí)算法引入普通隧道技術(shù)中，通過在線學(xué)習(xí)積累爬行過程中的經(jīng)驗(yàn)，引導(dǎo)專業(yè)網(wǎng)絡(luò)爬蟲以最小的時(shí)空代價(jià)從主題相關(guān)度低的區(qū)域穿越到達(dá)主題相關(guān)度高的區(qū)域。實(shí)驗(yàn)表明，與普通隧道相比，智能隧道算法降低了時(shí)空復(fù)雜度，提高了專業(yè)網(wǎng)絡(luò)爬蟲的性能與運(yùn)行效率。
　　 本研究所做的主要

3、工作包括：
　　 ①介紹了垂直搜索引擎的基本原理和相關(guān)技術(shù)，并對垂直搜索引擎的系統(tǒng)框架進(jìn)行了研究。
　　 ②對主題Web信息采集所涉及到的核心技術(shù)包括專業(yè)網(wǎng)絡(luò)爬蟲、相關(guān)度計(jì)算、爬行策略等進(jìn)行了研究。
　　 ③在研究現(xiàn)有的隧道技術(shù)和快速在線Q(λ)學(xué)習(xí)算法基礎(chǔ)上，提出了一個(gè)智能隧道模型，并在該模型基礎(chǔ)上設(shè)計(jì)了一個(gè)智能隧道算法。該算法與普通隧道算法相比，有效地降低了時(shí)空復(fù)雜度，提高了專業(yè)網(wǎng)絡(luò)爬蟲的性能與運(yùn)行效率。