基于特征和實例的海量數(shù)據(jù)約簡方法研究.pdf

1、隨著信息和計算機技術的不斷發(fā)展，出現(xiàn)了大量的海量數(shù)據(jù)。在對這些海量的數(shù)據(jù)進行復雜的數(shù)據(jù)分析時，通常需要耗費大量的時間。雖然目前已經(jīng)提出了一些通過減少海量數(shù)據(jù)集中實例的特征數(shù)和數(shù)據(jù)集中的實例數(shù)的方法來降低處理海量數(shù)據(jù)集所消耗的時間和存儲海量數(shù)據(jù)需要的空間，但是這些方法都具有一定的局限性，因此，探索具有一定普適性的減少特征數(shù)和實例數(shù)的數(shù)據(jù)約簡方法，對提高海量數(shù)據(jù)處理的效率有著重要的理論意義和現(xiàn)實意義。
　　針對現(xiàn)有的基于實例選擇的數(shù)據(jù)

2、約簡方法所存在不足的基礎上，結(jié)合Hausdorff距離在度量兩個數(shù)據(jù)集相似度方面展示出來的優(yōu)越性，利用Hausdorff距離作為原始數(shù)據(jù)集中實例是否被選擇的標準，從原始數(shù)據(jù)集中選取具有“代表”性的實例。同時考慮到Hausdorff距離的計算復雜度較高，借助K-NN（K-Nearest Neighbor）搜索算法將數(shù)據(jù)集進行均勻切割，在此基礎之上，提出了一種基于局部Hausdorff距離的面向?qū)嵗臄?shù)據(jù)約簡方法。
　　圍繞多特征海量

3、數(shù)據(jù)集的高效約簡，從增強目標實例鄰近數(shù)據(jù)的均勻度、減少近鄰表示誤差及提高降維效果的角度出發(fā)，提出了一個基于中心點的K-NN搜索算法，該算法能夠保證對某一實例進行近鄰搜索時得到的近鄰實例最大限度的均勻分布在該實例的周圍。為了保證K值的變化符合非均勻數(shù)據(jù)集的特性，提出了根據(jù)數(shù)據(jù)集局部均勻度的變化動態(tài)調(diào)整K值的方法，制定了滿足非均勻數(shù)據(jù)集中LLE（Locally Linear Embedding）算法降維需要的K值變化規(guī)則。以此為基礎，提出了

4、一種基于LLE算法的變K值的數(shù)據(jù)約簡方法。
　　考慮到數(shù)據(jù)集中實例的變化一般會影響數(shù)據(jù)集分類的效果和數(shù)據(jù)集上的統(tǒng)計特征，建立了利用分類方法和空間統(tǒng)計的相關技術對約簡方法進行綜合評價的方法。為了實現(xiàn)對分類方法效果的度量，在分析了類半徑、類間距和類實例數(shù)對分類精度影響的基礎上，給出了一種綜合評價分類精度的計算方法。通過對數(shù)據(jù)集中實例的頻數(shù)分布、數(shù)據(jù)集的分位數(shù)和數(shù)據(jù)集之間的距離三個統(tǒng)計特征的分析，對約簡前后數(shù)據(jù)集之間的相似性進行了評價。