主題爬蟲搜索Web頁面策略的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，通用爬蟲在浩瀚如海的網(wǎng)絡(luò)世界里，對高效提取有效網(wǎng)頁信息顯得越來越力不從心。而主題爬蟲是解決通用搜索引擎可擴(kuò)展性限制的有效方法。它可以指導(dǎo)抓取URL鏈接，并有效的析取與目標(biāo)網(wǎng)頁相關(guān)度高的網(wǎng)頁內(nèi)容。本文通過制定框架，并以一些性能指標(biāo)為依據(jù)來評價主題爬蟲算法，并結(jié)合分析研究以及開發(fā)之間的偏差可以得到它的最優(yōu)性能。本文分析了各種不同類型的爬蟲算法，并討論他們的性能表現(xiàn)。 本文中提出了一種基于分層馬爾科夫模型來區(qū)別網(wǎng)

2、站和網(wǎng)頁文本之間的傳輸方法。基于這一模型提出了兩種不同的方法計算網(wǎng)站排名，一個是集中式的，一個是分散式的。這兩種方法都根據(jù)Web圖來得到網(wǎng)站排名。這兩種方法作用是相同的，但是改進(jìn)的算法需要為搜索引擎的建立端到端的架構(gòu)，這一架構(gòu)為基于鏈接的排名計算提供了理論基礎(chǔ)，并使計算分散性的網(wǎng)絡(luò)規(guī)模圖成為可行。此外，網(wǎng)站排名可以在本地或者整個網(wǎng)絡(luò)中進(jìn)行計算。通過修改Lucene和Heritrix開源組件建立主題搜索引擎，實(shí)證結(jié)果表明，使用這個模型產(chǎn)生