基于用戶界面狀態(tài)改變的Ajax動(dòng)態(tài)網(wǎng)頁(yè)爬取算法研究.pdf

1、現(xiàn)在的Web應(yīng)用程序中，由于JavaScript和動(dòng)態(tài)文檔對(duì)象模型具有的高交互性和快速的應(yīng)答能力，使得它們?cè)赪eb應(yīng)用程序端得到越來(lái)越廣泛的應(yīng)用。近年來(lái)隨著Web2.0的興起，在網(wǎng)頁(yè)開(kāi)發(fā)中也開(kāi)始大量的運(yùn)用Ajax技術(shù)。傳統(tǒng)的Web站點(diǎn)中每一個(gè)URL標(biāo)志一個(gè)靜態(tài)頁(yè)面，而在Ajax應(yīng)用中，一個(gè)頁(yè)面可能有很多狀態(tài)變化，這種狀態(tài)變化并不能通過(guò)頁(yè)面的URL體現(xiàn)出來(lái)，而是通過(guò)文檔對(duì)象模型(DOM)結(jié)構(gòu)的動(dòng)態(tài)變化來(lái)展現(xiàn)，所以對(duì)Ajax程序的爬取不同于

2、對(duì)傳統(tǒng)的網(wǎng)頁(yè)爬取。現(xiàn)有的一些對(duì)Ajax網(wǎng)頁(yè)爬取的算法存在爬取準(zhǔn)確度不高或者狀態(tài)爆炸等的問(wèn)題，本論文結(jié)合Ajax動(dòng)態(tài)網(wǎng)頁(yè)的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)可以爬取Ajax動(dòng)態(tài)網(wǎng)頁(yè)的爬取系統(tǒng)。
　　本論文提出了基于用戶界面狀態(tài)改變的Ajax動(dòng)態(tài)網(wǎng)頁(yè)爬取算法，通過(guò)使用算法中狀態(tài)的轉(zhuǎn)換來(lái)模擬動(dòng)態(tài)網(wǎng)頁(yè)中通過(guò)觸發(fā)動(dòng)態(tài)事件造成的網(wǎng)頁(yè)結(jié)構(gòu)的改變。該算法首先初始化空的狀態(tài)圖及爬行隊(duì)列，通過(guò)給定的URL獲取初始頁(yè)面的DOM樹(shù)，通過(guò)遍歷DOM樹(shù)，算法識(shí)別出能夠引

3、起狀態(tài)改變的候選可點(diǎn)擊元素，并依次觸發(fā)這些候選元素下的事件，然后進(jìn)行狀態(tài)比較，發(fā)現(xiàn)新的可能到達(dá)的狀態(tài)，逐步更新?tīng)顟B(tài)圖。為了能夠觸發(fā)同一狀態(tài)下對(duì)應(yīng)的所有綁定事件，該算法實(shí)現(xiàn)了狀態(tài)回退的方法，用來(lái)判別某個(gè)狀態(tài)下是否存在未被檢查到的可點(diǎn)擊元素存在。
　　為了提高對(duì)Ajax動(dòng)態(tài)網(wǎng)頁(yè)爬取的性能，本文又提出了并行爬取Ajax動(dòng)態(tài)網(wǎng)頁(yè)的算法。該算法采用并行爬取的方法來(lái)進(jìn)行狀態(tài)爬取，通過(guò)控制器來(lái)監(jiān)測(cè)所有的爬取節(jié)點(diǎn)，每個(gè)爬取節(jié)點(diǎn)負(fù)責(zé)自己對(duì)應(yīng)的狀態(tài)機(jī)

4、，從瀏覽器池中運(yùn)行自己的瀏覽器實(shí)例?？刂破鞑捎脛?dòng)態(tài)分配任務(wù)的方法給所有參與的爬取節(jié)點(diǎn)合理分配爬取任務(wù)，當(dāng)爬取節(jié)點(diǎn)發(fā)現(xiàn)一個(gè)新的狀態(tài)后，如果在先前的狀態(tài)下還有未被識(shí)別的候選可點(diǎn)擊元素存在，那么會(huì)沿著這個(gè)未被識(shí)別的狀態(tài)，分配另一個(gè)線程新的線程進(jìn)行探索，這種方法下就不需要瀏覽器重新加載和狀態(tài)回退，極大的縮短了算法爬取的時(shí)間。
　　最后，論文把算法應(yīng)用于一些實(shí)際的Web動(dòng)態(tài)網(wǎng)頁(yè)中，通過(guò)實(shí)驗(yàn)對(duì)算法進(jìn)行了評(píng)估和分析，驗(yàn)證了算法的可行性和有效性。