基于分層采樣的DeepWeb數(shù)據(jù)分析方法研究.pdf

1、Deep Web中蘊含海量的高質(zhì)量數(shù)據(jù)。面向Deep Web的數(shù)據(jù)分析已成為目前Deep Web領(lǐng)域新的研究熱點。由于Deep Web本身存在查詢接口限制等問題，現(xiàn)有的Deep Web數(shù)據(jù)分析研究大多以采樣的方式進(jìn)行，而樣本只能以提交查詢的方式獲得。由于查詢次數(shù)相對于本地計算資源更加昂貴，對Deep Web進(jìn)行數(shù)據(jù)分析時，不僅要考慮樣本數(shù)據(jù)對于分析任務(wù)的支持度，而且要考慮如何減少查詢次數(shù)?；诖?，本文深入研究了兩大類Deep Web數(shù)據(jù)

2、分析任務(wù)，具體包括以下幾個方面的工作：
　　(1)針對Deep Web表單型查詢接口的特性，分析了現(xiàn)有的采樣策略及其在總量估計任務(wù)中的應(yīng)用，探討了樣本無偏性對于不同分析任務(wù)的影響，為后續(xù)的研究提供理論基礎(chǔ)。
　　(2)針對Deep Web聚類分析任務(wù)，從降低采樣次數(shù)和提高聚類準(zhǔn)確率角度出發(fā)，提出了一種基于分層采樣的Deep Web多步法聚類方法。為了弱化初始樣本對于分層的影響，利用代表性采樣與臨界點采樣策略迭代挑選最優(yōu)樣本子

3、集，并結(jié)合分層樣本權(quán)重信息以估計聚類結(jié)果。在人工和雅虎數(shù)據(jù)集上的實驗表明，該方法能夠達(dá)到較高的聚類精度。
　　(3)針對Deep Web異常點分析任務(wù)，綜合考慮準(zhǔn)確率和召回率度量準(zhǔn)則，提出了一種基于分層采樣的Deep Web異常點檢測方法。該方法從分層指標(biāo)角度對分層過程進(jìn)行優(yōu)化以適應(yīng)異常點任務(wù)的特性，并且結(jié)合樣本的層次關(guān)系，以鄰近采樣的方式挖掘異常點樣本。同時為了解決樣本的不確定性問題，引入不確定性采樣過程。在多個數(shù)據(jù)集上的實驗表