主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實現(xiàn).pdf

1、主題網(wǎng)絡(luò)爬蟲是主題搜索引擎后端獲取數(shù)據(jù)的自動化代碼程序，主題搜索引擎前端查詢到的數(shù)據(jù)事先由主題網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上抓取，存儲在本地。然后對網(wǎng)頁進(jìn)行數(shù)據(jù)抽取，建立索引。所以主題爬蟲對于一個主題搜索引擎來說，起著支撐的作用。本文提出鏈接文本相關(guān)度算法與主題信息值遺傳恢復(fù)的算法相結(jié)合的主題優(yōu)先抓取算法來指引爬蟲抓取方向，并使用postgresql數(shù)據(jù)庫集群技術(shù)存儲數(shù)據(jù)。
　　 主題優(yōu)先抓取算法根據(jù)網(wǎng)絡(luò)頁面結(jié)構(gòu)的特點，通過頁面之間的主題傳

2、遞來預(yù)測頁面主題相關(guān)性，解決了主題爬蟲通道堵塞，抓取遺漏的問題。首先根據(jù)錨文本傳遞一個相關(guān)性信息值，如果錨文本給出的信息是相關(guān)，相關(guān)閥值就直接傳遞；如果是不相關(guān)，就乘以遺傳基因比例之后傳遞。傳遞的過程中如果遇到相關(guān)的網(wǎng)頁就恢復(fù)鏈接的相關(guān)性信息值到初始值。相關(guān)性信息值將互聯(lián)網(wǎng)網(wǎng)頁以主題的不同分割在不同的通道內(nèi)，所有與主題相關(guān)的網(wǎng)頁都在最大通道內(nèi)，各個通道交錯相連，爬蟲按通道的大小順序抓取。
　　 爬蟲要抓取的網(wǎng)頁信息量龐大，單臺主