基于兩階段的深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)系統(tǒng)研究.pdf

1、互聯(lián)網(wǎng)數(shù)據(jù)根據(jù)是否能被搜索引擎所索引分為淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)。深層網(wǎng)絡(luò)相比淺層網(wǎng)絡(luò)具有更大的數(shù)據(jù)量和更高的質(zhì)量，高效的定位深層網(wǎng)絡(luò)數(shù)據(jù)源是挖掘隱藏在深層網(wǎng)絡(luò)背后信息的前提。由于Web本質(zhì)是動(dòng)態(tài)變化的，不斷有新的數(shù)據(jù)源加入和舊的數(shù)據(jù)源撤出，以及查詢(xún)表單稀疏分布的特點(diǎn)，現(xiàn)有的深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)系統(tǒng)會(huì)訪(fǎng)問(wèn)大量無(wú)關(guān)頁(yè)面，導(dǎo)致效率低下。
　　基于兩階段的深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)系統(tǒng)（SmartCrawler），將數(shù)據(jù)源發(fā)現(xiàn)過(guò)程分為站點(diǎn)定位階段和站內(nèi)

2、搜索階段，并具有自適應(yīng)、增量式和高效等特點(diǎn)。站點(diǎn)定位階段借助搜索引擎反向爬行已發(fā)現(xiàn)的深層網(wǎng)絡(luò)站點(diǎn)來(lái)收集站點(diǎn)數(shù)據(jù)，保證站點(diǎn)隊(duì)列有充足的候選數(shù)據(jù)；采用自適應(yīng)的站點(diǎn)排序機(jī)制實(shí)現(xiàn)優(yōu)先選取潛在深層網(wǎng)絡(luò)站點(diǎn)以及站點(diǎn)分類(lèi)器來(lái)實(shí)現(xiàn)聚焦爬行。站內(nèi)搜索階段采取平衡的優(yōu)先訪(fǎng)問(wèn)策略，在優(yōu)先訪(fǎng)問(wèn)潛在指向含查詢(xún)表單頁(yè)面同時(shí)，通過(guò)設(shè)計(jì)樹(shù)型結(jié)構(gòu)來(lái)保證站點(diǎn)內(nèi)部的覆蓋范圍。站點(diǎn)和鏈接優(yōu)先選取策略采用學(xué)習(xí)智能體方法，通過(guò)自動(dòng)抽取爬行過(guò)程中發(fā)現(xiàn)的深層網(wǎng)絡(luò)站點(diǎn)和表單路徑特征，并