基于相對位置視點的數(shù)據(jù)集精簡算法研究.pdf

1、隨著計算機在數(shù)據(jù)采集和數(shù)據(jù)存儲方面的技術(shù)迅猛發(fā)展，機器學(xué)習(xí)應(yīng)用經(jīng)常碰到越來越大的數(shù)據(jù)集。大部分機器學(xué)習(xí)算法的時間、空間復(fù)雜度也隨著數(shù)據(jù)集的規(guī)模變得越來越高。如何避免過度的空間、時間消耗，甚至通過移除噪聲數(shù)據(jù)提高數(shù)據(jù)集的泛化能力，給數(shù)據(jù)集精簡的研究帶來了重大挑戰(zhàn)。
　　 論文在前人數(shù)據(jù)集精簡算法相關(guān)研究的基礎(chǔ)上，對精簡算法設(shè)計的關(guān)聯(lián)問題、算法分類比較等方面進行了深入研究，完成了如下的一系列工作:
　　 1.詳盡地介紹了數(shù)據(jù)

2、集精簡算法設(shè)計過程中需要解決的問題和面臨的選擇，對實例的表現(xiàn)形式、精簡搜索方向、相似度度量函數(shù)、投票機制、性能評價指標以及PCA、KD-Tree技術(shù)和威爾科克森檢驗等問題、技術(shù)進行了論述，為后續(xù)精簡算法設(shè)計、討論，提供一個比較系統(tǒng)的理論框架。
　　 2.主要結(jié)合了精簡算法設(shè)計的原型選擇和原型生成兩種基本思想的不同分類，比較、分析大部分的經(jīng)典精簡算法并闡述各自優(yōu)缺點。
　　 3.提出了一種基于相對位置視點的數(shù)據(jù)集精簡算法(

3、RePo)。從相對位置的視點入手，分析了數(shù)據(jù)點在局部區(qū)域的重要性，并由此給出了關(guān)于判斷數(shù)據(jù)點是否“可替代”的理論定義。通過保留重要的邊界節(jié)點、刪除噪音節(jié)點以及精簡內(nèi)部節(jié)點，RePo算法融合原型選擇和原型生成兩種精簡思想，最后引入噪音過濾器更加謹慎地刪除噪聲與部分邊界節(jié)點，從而平滑化、清晰化類邊界。
　　 4.在16組UCI數(shù)據(jù)集上將新提出的RePo算法與其它17種不同設(shè)計思路、不同策略的精簡算法進行對比實驗。論文對實驗中得到的指

4、標結(jié)果進行了分析、比較，并對算法間的差異做了威爾科克森符號秩假設(shè)檢驗（置信水平為0.1），實驗表明:RePo算法對數(shù)據(jù)集壓縮幅度較大，結(jié)合考慮壓縮幅度和泛化精度的綜合性能方面，其整體性能與SSMA和RMHC算法接近，但RePo算法平均泛化精度比前兩種算法高出9.5％和1.3％。
　　 綜上，RePo算法通過采用原型概念和剪輯式、壓縮式的混合處理方式，從而結(jié)合了原型生成和原型選擇的基本思想，保留重要邊界點，剔除噪聲數(shù)據(jù)，同時通過生