Web數(shù)據(jù)庫大小估算方法的研究與應(yīng)用.pdf

1、網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,使得Web迅速發(fā)展成為一個浩瀚復(fù)雜的數(shù)據(jù)源,已成為人們獲取信息的重要途徑。整個Web可以劃分為Surface Web和Deep Web(又稱為Hidden Web或Invisible Web)兩大部分。Deep Web包含的信息比Surface Web中的信息更豐富、結(jié)構(gòu)化更好、主題性更強。為了更加高效、準確地利用Deep Web上的海量信息,研究者們已經(jīng)在Deep Web領(lǐng)域開展了大量的研究工作。尤其是在Deep

2、Web數(shù)據(jù)集成方面,積累了相當多的研究成果。本文關(guān)注的則是Deep Web研究領(lǐng)域的一個新問題,即如何估算一個 Web數(shù)據(jù)庫的人小。
　　本文首先介紹了一些Web數(shù)據(jù)庫大小估算方法相關(guān)工作,并指出了其存在的缺陷與不足。然后針對目前較為完善的基于屬性相關(guān)度的Web數(shù)據(jù)庫大小估算方法的缺陷進行了改進,并提出了一種新的隨機采樣方法。其主要工作如下:(1)提出了一種基于Zipf分布的Web數(shù)據(jù)庫大小估算方法。該方法通過計算屬性相關(guān)度,選擇

3、屬性相關(guān)度最小的屬性抽取近似隨機樣本。根據(jù)該近似隨機樣本,計算得到屬性詞分布與樣本大小,并在此基礎(chǔ)上計算Zipf分布方程,得到屬性值的詞頻,從而估計Web數(shù)據(jù)庫的大小。該方法是對基于屬性相關(guān)度的Web數(shù)據(jù)庫隨機采樣方法存在的缺陷——即使選擇屬性相關(guān)度最小的屬性進行隨機采樣,兩個屬性還是有一定的關(guān)聯(lián),這就會給采樣結(jié)果帶來一定的影響,針對這一缺陷進行的改進,使得對Web數(shù)據(jù)庫的估算結(jié)果更加準確。(2)根據(jù)Web數(shù)據(jù)庫的特征,提出了一種新的基