基于關(guān)鍵詞屬性的Web數(shù)據(jù)庫采樣系統(tǒng)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)中的信息越來越豐富，使其成為了一個(gè)巨大的數(shù)據(jù)源。按照數(shù)據(jù)在網(wǎng)絡(luò)中存在的深度，可以將整個(gè)Web劃分為Surface Web和Deep Web，而在目前的Web中，Deep Web中的信息量遠(yuǎn)遠(yuǎn)超過了Surface Web，并且Deep Web仍然在迅速增長，使的Deep Web成為人們最重要的信息來源。然而Deep Web中的信息的獲取只能通過查詢接口動(dòng)態(tài)的獲得，傳統(tǒng)的查詢接口很難檢索到。為了更加方便的利用Deep

2、Web中的信息，最有效的方法是對(duì)Web數(shù)據(jù)庫進(jìn)行采樣。但是由于Deep Web中的信息量大、結(jié)構(gòu)復(fù)雜，如何高效的對(duì)Web數(shù)據(jù)庫進(jìn)行采樣是一個(gè)重要的研究課題
　　基于關(guān)鍵詞屬性的Web數(shù)據(jù)庫采樣系統(tǒng)WDB-Samper，克服了傳統(tǒng)數(shù)據(jù)庫采樣不能通過查詢接口進(jìn)行采樣的缺點(diǎn)，采取了增量式的采樣方法，通過查詢接口逐步的獲取隨機(jī)樣本。采樣系統(tǒng)的設(shè)計(jì)主要分為三個(gè)部分，第一部分是數(shù)據(jù)的管理，主要是采樣數(shù)據(jù)記錄的存儲(chǔ)以及記錄的屬性和屬性值的統(tǒng)計(jì)，

3、并利用若干個(gè)數(shù)據(jù)結(jié)構(gòu)來對(duì)相關(guān)數(shù)據(jù)記錄管理，存在本地?cái)?shù)據(jù)庫中。第二部分是查詢的生成，查詢的生成是整個(gè)采樣系統(tǒng)的核心所在，由于對(duì)Web數(shù)據(jù)庫的訪問只能通過向查詢接口提交查詢實(shí)現(xiàn)，因此查詢的生成伴隨在整個(gè)采樣過程中，在查詢生成過程中分為屬性的選擇和屬性值的選擇兩步。第三部分是樣本偏差的修訂，由于無法保證采樣過程的完全客觀，當(dāng)采樣結(jié)束后，得到的樣本并不能作為最終的樣本，因此在這一部分中利用了樣本偏差的評(píng)價(jià)，循環(huán)的剔除了樣本中造成較大偏差的記錄。