基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn).pdf

1、網(wǎng)絡(luò)爬蟲是搜索引擎的關(guān)鍵技術(shù)之一。近年來，隨著Web2.0的興起，AJAX技術(shù)在Web開發(fā)中的大量應(yīng)用，使得網(wǎng)頁的用戶體驗得到了很大的提高，但同時傳統(tǒng)網(wǎng)絡(luò)爬蟲的缺陷日益顯著，極大影響了搜索引擎的查詢結(jié)果。
　　 本文旨在設(shè)計一種能處理javascript/Ajax網(wǎng)站的爬蟲系統(tǒng)。
　　 為了能處理javascript/Ajax網(wǎng)站，首先必須了解頁面的基本獲取方式，頁面代碼的特性，以及傳統(tǒng)頁面展現(xiàn)方式與異步頁面呈現(xiàn)方式的不

2、同，其次，了解javascript/Ajax技術(shù)的特點，以及傳統(tǒng)方式無法解決此問題的原因。我們期望達(dá)到以下幾個目的：1、盡可能多的獲取到與鏈接有關(guān)的javascript代碼。2、能正確處理頁面中的javascript代碼。3、能準(zhǔn)確獲取到異步鏈接，并能進(jìn)行下一層抓取。
　　 文中首先嘗試使用javascirpt引擎的方式解析網(wǎng)頁中包含的javascirpt代碼，期望以此來解決鏈接丟失的問題。但對于DOM對象處理的缺陷，使得該方案