Deep Web數(shù)據(jù)源發(fā)現(xiàn)及選擇方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的日益成熟，Web的飛速發(fā)展使其成為了一個(gè)浩瀚而復(fù)雜的巨大數(shù)據(jù)源。按照數(shù)據(jù)蘊(yùn)藏的深度，整個(gè)Web可以進(jìn)一步劃分為Surface Web和Deep Web，目前Deep Web中的信息量是Surface Web的550倍之多，并且還在迅速地增長(zhǎng)，這使得Deep Web成為人們獲取信息的一個(gè)重要途徑。DeepWeb中信息的獲取要通過(guò)查詢接口在線訪問(wèn)其后端的Web數(shù)據(jù)庫(kù)，傳統(tǒng)的搜索引擎無(wú)法索引到其中的內(nèi)容。為了有效地利用Deep

2、Web中的資源，必須對(duì)Deep Web數(shù)據(jù)進(jìn)行集成。但由于Deep Web規(guī)模巨大，如何有效地提高集成效率已經(jīng)成為數(shù)據(jù)集成領(lǐng)域的一個(gè)重要研究課題。 本論文以Deep Web數(shù)據(jù)集成系統(tǒng)為目標(biāo)應(yīng)用，面向Deep Web中的海量數(shù)據(jù)，從Web數(shù)據(jù)源發(fā)現(xiàn)和數(shù)據(jù)庫(kù)選擇兩方面著手，研究如何提高集成效率，主要工作包括以下兩個(gè)方面。 Deep Web數(shù)據(jù)源排序：由于當(dāng)前的研究主要關(guān)注的是面向領(lǐng)域的數(shù)據(jù)集成，因此為減少需集成的數(shù)據(jù)源數(shù)

3、量，在Web數(shù)據(jù)庫(kù)的發(fā)現(xiàn)過(guò)程中，只需找出相關(guān)領(lǐng)域的數(shù)據(jù)源即可。本文介紹了一個(gè)基于屬性同現(xiàn)框架的資源選擇系統(tǒng)，通過(guò)該系統(tǒng)，可以在海量的數(shù)據(jù)源中發(fā)現(xiàn)特定領(lǐng)域的數(shù)據(jù)源。 增量式隨機(jī)漫步的Web數(shù)據(jù)庫(kù)采樣：將用戶在集成接口上的查詢分發(fā)給所有的Web數(shù)據(jù)庫(kù)，顯然會(huì)造成訪問(wèn)代價(jià)過(guò)高且降低下一步查詢結(jié)果處理的質(zhì)量，因而在Web數(shù)據(jù)庫(kù)選擇階段找到合適的Web數(shù)據(jù)庫(kù)至關(guān)重要。本文提出增量式隨機(jī)漫步的Web數(shù)據(jù)庫(kù)采樣方法，彌補(bǔ)隨機(jī)漫步方法不能處理關(guān)