基于特征和實(shí)例的海量數(shù)據(jù)約簡方法研究.pdf

1、隨著信息和計(jì)算機(jī)技術(shù)的不斷發(fā)展，出現(xiàn)了大量的海量數(shù)據(jù)。在對(duì)這些海量的數(shù)據(jù)進(jìn)行復(fù)雜的數(shù)據(jù)分析時(shí)，通常需要耗費(fèi)大量的時(shí)間。雖然目前已經(jīng)提出了一些通過減少海量數(shù)據(jù)集中實(shí)例的特征數(shù)和數(shù)據(jù)集中的實(shí)例數(shù)的方法來降低處理海量數(shù)據(jù)集所消耗的時(shí)間和存儲(chǔ)海量數(shù)據(jù)需要的空間，但是這些方法都具有一定的局限性，因此，探索具有一定普適性的減少特征數(shù)和實(shí)例數(shù)的數(shù)據(jù)約簡方法，對(duì)提高海量數(shù)據(jù)處理的效率有著重要的理論意義和現(xiàn)實(shí)意義。
　　針對(duì)現(xiàn)有的基于實(shí)例選擇的數(shù)據(jù)

2、約簡方法所存在不足的基礎(chǔ)上，結(jié)合Hausdorff距離在度量兩個(gè)數(shù)據(jù)集相似度方面展示出來的優(yōu)越性，利用Hausdorff距離作為原始數(shù)據(jù)集中實(shí)例是否被選擇的標(biāo)準(zhǔn)，從原始數(shù)據(jù)集中選取具有“代表”性的實(shí)例。同時(shí)考慮到Hausdorff距離的計(jì)算復(fù)雜度較高，借助K-NN（K-Nearest Neighbor）搜索算法將數(shù)據(jù)集進(jìn)行均勻切割，在此基礎(chǔ)之上，提出了一種基于局部Hausdorff距離的面向?qū)嵗臄?shù)據(jù)約簡方法。
　　圍繞多特征海量

3、數(shù)據(jù)集的高效約簡，從增強(qiáng)目標(biāo)實(shí)例鄰近數(shù)據(jù)的均勻度、減少近鄰表示誤差及提高降維效果的角度出發(fā)，提出了一個(gè)基于中心點(diǎn)的K-NN搜索算法，該算法能夠保證對(duì)某一實(shí)例進(jìn)行近鄰搜索時(shí)得到的近鄰實(shí)例最大限度的均勻分布在該實(shí)例的周圍。為了保證K值的變化符合非均勻數(shù)據(jù)集的特性，提出了根據(jù)數(shù)據(jù)集局部均勻度的變化動(dòng)態(tài)調(diào)整K值的方法，制定了滿足非均勻數(shù)據(jù)集中LLE（Locally Linear Embedding）算法降維需要的K值變化規(guī)則。以此為基礎(chǔ)，提出了

4、一種基于LLE算法的變K值的數(shù)據(jù)約簡方法。
　　考慮到數(shù)據(jù)集中實(shí)例的變化一般會(huì)影響數(shù)據(jù)集分類的效果和數(shù)據(jù)集上的統(tǒng)計(jì)特征，建立了利用分類方法和空間統(tǒng)計(jì)的相關(guān)技術(shù)對(duì)約簡方法進(jìn)行綜合評(píng)價(jià)的方法。為了實(shí)現(xiàn)對(duì)分類方法效果的度量，在分析了類半徑、類間距和類實(shí)例數(shù)對(duì)分類精度影響的基礎(chǔ)上，給出了一種綜合評(píng)價(jià)分類精度的計(jì)算方法。通過對(duì)數(shù)據(jù)集中實(shí)例的頻數(shù)分布、數(shù)據(jù)集的分位數(shù)和數(shù)據(jù)集之間的距離三個(gè)統(tǒng)計(jì)特征的分析，對(duì)約簡前后數(shù)據(jù)集之間的相似性進(jìn)行了評(píng)價(jià)。