Web數(shù)據(jù)庫采樣技術(shù)研究.pdf

1、Web的飛速發(fā)展使其成為一個浩瀚而復雜的巨大數(shù)據(jù)源。整個Web可以進一步劃分為Surface Web和Deep Web兩大部分，Deep Web中信息的獲取需要通過查詢接口在線訪問其后端的Web數(shù)據(jù)庫，受限于查詢接口的查詢能力。由于Deep Web中數(shù)據(jù)庫數(shù)量的巨大，給我們的使用帶來了困難，這就需要了解Deep Web數(shù)據(jù)集成系統(tǒng)中所包含數(shù)據(jù)庫的主題分布、更新頻率以及大小等有用特征。在實際中，Web數(shù)據(jù)庫所包含的信息量巨大，將Web數(shù)據(jù)

2、庫中的所有數(shù)據(jù)抽取下來進行分析的工作變得難以實現(xiàn)，由此Web數(shù)據(jù)庫采樣技術(shù)應運而生。Web數(shù)據(jù)庫采樣技術(shù)是指通過一定的技術(shù)將Web數(shù)據(jù)庫中的數(shù)據(jù)隨機地抽取一部分，這一部分數(shù)據(jù)能夠代表Web數(shù)據(jù)庫所具有的特征信息。
　　現(xiàn)有的Web數(shù)據(jù)庫采樣方法中存在著諸多不足，主要體現(xiàn)在兩個方面，一是采樣的代價大效率低，一是樣本的質(zhì)量差。采樣方法在獲得樣本數(shù)據(jù)時，擊中率低，每次查詢得到結(jié)果記錄的重復率高，進而導致了采樣的代價大。樣本的質(zhì)量差，采集

3、到的樣本數(shù)據(jù)庫中數(shù)據(jù)分布存在偏差，同時樣本數(shù)據(jù)庫還存在著不能夠準確地反應出Web數(shù)據(jù)庫中數(shù)據(jù)特征的問題。
　　本文提出了一種新的Web數(shù)據(jù)庫采樣模型，用以獲得能夠代替Web數(shù)據(jù)庫分析的樣本數(shù)據(jù)庫。在該模型中主要應用了兩種新的技術(shù)，一種是基于屬性相關(guān)度的查詢模式，一種是基于詞頻-屬性值相關(guān)度的查詢條件生成策略。通過這兩種新技術(shù)的使用，不僅降低了采樣的代價，同時也提高了樣本的質(zhì)量，達到采樣的最終目的，即獲得一個與Web數(shù)據(jù)庫數(shù)據(jù)分布情

4、況基本一致的樣本數(shù)據(jù)庫。
　　基于屬性相關(guān)度的查詢模式為從查詢屬性中選擇兩個屬性組合構(gòu)成，這兩個屬性要求一個屬性為分類屬性，另一個屬性為與分類屬性的最不相關(guān)的文本屬性。查詢條件中可以有一個或多個屬性值，這些屬性值可以屬于同一個屬性也可以屬于不同的屬性，本文中提出的查詢模式的作用就是限制查詢條件中屬性值的個數(shù)和所屬的屬性。在本文的采樣模型中，采樣過程使用的所有查詢條件都按照查詢模式定義生成。與傳統(tǒng)方法相比，在得到相同的樣本記錄數(shù)時，

5、本文提出的Web數(shù)據(jù)庫采樣模型向Web數(shù)據(jù)庫發(fā)送查詢的次數(shù)明顯減少，即采樣的代價減小。
　　基于詞頻-屬性值相關(guān)度的查詢條件生成策略是從詞頻統(tǒng)計和屬性值相關(guān)度兩個角度分析當前樣本數(shù)據(jù)庫，生成滿足查詢模式的查詢條件。詞頻的大小反映了Web數(shù)據(jù)庫所代表領(lǐng)域的發(fā)展現(xiàn)狀和發(fā)展趨勢，對了解Web數(shù)據(jù)庫有很大的作用。為了得到能夠代表Web數(shù)據(jù)庫特征的樣本數(shù)據(jù)庫，在生成查詢條件中加入對詞頻的分析，達到增加樣本質(zhì)量的目的。屬性值相關(guān)度是指兩個不同