Deep Web數(shù)據(jù)源的發(fā)現(xiàn)與聚類研究.pdf

1、互聯(lián)網(wǎng)上的資源可以劃分為Surface Web和Deep Web兩部分。其中，Surface Web指能夠被傳統(tǒng)搜索引擎檢索到的那部分資源，Deep Web指?jìng)鹘y(tǒng)搜索引擎檢索不到的那部分資源，通常指Web數(shù)據(jù)庫(kù)包含的信息。
　　 調(diào)查表明，Deep Web蘊(yùn)含的信息量是Surface Web的400至500倍。然而，由于Web數(shù)據(jù)庫(kù)覆蓋各個(gè)領(lǐng)域，并且分布在世界的各個(gè)角落，因此必須對(duì)其進(jìn)行集成后才能有效地加以利用。因?yàn)镈eep W

2、eb集成的是同一領(lǐng)域的Web數(shù)據(jù)庫(kù)，所以在集成前需要發(fā)現(xiàn)Web數(shù)據(jù)庫(kù)并將其按照所屬領(lǐng)域分類。
　　 查詢接口是Web數(shù)據(jù)庫(kù)的唯一入口，因此可以通過查詢接口來發(fā)現(xiàn)Web數(shù)據(jù)庫(kù)。查詢接口位于網(wǎng)頁(yè)的表單之中，但并非所有的表單都是查詢接口，因此需要從表單中識(shí)別出查詢接口。基于前人的研究成果和對(duì)大量表單的觀察，本文提出了7條啟發(fā)式規(guī)則用以識(shí)別查詢接口。實(shí)驗(yàn)結(jié)果表明，查詢接口識(shí)別的F-measure值能達(dá)到0.98以上。
　　 De

3、ep Web集成需要建立集成查詢接口到各本地查詢接口的映射關(guān)系。在集成前，需要從查詢接口中抽取其模式信息。對(duì)于抽取過程中存在的6大難點(diǎn)，文中給出了相應(yīng)的解決方法。實(shí)驗(yàn)結(jié)果表明，文中給出的方法抽取查詢接口模式信息的準(zhǔn)確度可達(dá)94％以上。
　　 同一領(lǐng)域的Web數(shù)據(jù)庫(kù)所在網(wǎng)頁(yè)的標(biāo)題和關(guān)鍵詞通常會(huì)共享一定的關(guān)鍵詞?；谶@個(gè)思想，本文提出了基于頻繁項(xiàng)集的Web數(shù)據(jù)庫(kù)聚類算法。該算法將共享一定關(guān)鍵詞的網(wǎng)頁(yè)所包含的Web數(shù)據(jù)庫(kù)聚為一類，聚類