機器學習中樣本篩選方法的研究與應用.pdf

1、伴隨科技的發(fā)展，信息浪潮撲面而來。人們每天聊天、微博、視頻、郵件等會產(chǎn)生大量數(shù)據(jù)信息。這些數(shù)據(jù)中包含了大量有極高價值的信息。處理這些規(guī)模龐大的數(shù)據(jù)對現(xiàn)有的分析方法和工具來說是巨大的挑戰(zhàn)。處理這些數(shù)據(jù)問題的數(shù)據(jù)挖掘技術就成了熱門的研究方向。隨著研究的深入，數(shù)據(jù)挖掘技術也出現(xiàn)了許多具體的分支，機器學習是其中最熱門的分支之一。隨著機器學習技術和理論的發(fā)展，利用這些機器學習算法進行數(shù)據(jù)分析的方案已經(jīng)成功應用于某些特定領域，例如車牌識別、網(wǎng)絡攻擊

2、防范、手寫字符識別、面部識別、信息檢索、社會網(wǎng)絡和疾病診斷等。
　　但是為了分析數(shù)據(jù)問題，機器學習方法通常需要大量的數(shù)據(jù)集進行訓練，來發(fā)掘其中的規(guī)律，并建立模型，再使用模型對未知數(shù)據(jù)進行預測分析。盡管在訓練算法的優(yōu)化方面有大量的突破，機器學習方法仍然會受到龐大的訓練集的困擾，最直接的結果就是模型訓練時間漫長。同時這些未經(jīng)處理的龐大訓練集常常包含大量冗余數(shù)據(jù)和離群數(shù)據(jù)。這些多余數(shù)據(jù)是那些對機器學習訓練中非關鍵數(shù)據(jù)點，它們會占用大量計

3、算資源，使機器學習模型訓練過程耗時極長，甚至會影響最終模型的精度。為了解決這些數(shù)據(jù)的質量問題，本文研究了現(xiàn)有的樣本縮減算法和離群點檢測算法。并提出了新的樣本縮減策略和改進的離群點檢測方法。
　　為了解決數(shù)據(jù)規(guī)模過大的問題，本文提出了殼狀數(shù)據(jù)選擇算法進行樣本篩選。該算法利用數(shù)據(jù)集分布并非絕對均勻，在不斷迭代中刪除靠近數(shù)據(jù)集中心向量的的數(shù)據(jù)點。這樣可以近乎完整的保存分布在樣本集的殼形區(qū)中的非冗余數(shù)據(jù)點。在幾乎不降低訓練后模型精度的前提

4、下，實現(xiàn)了減小訓練集規(guī)模的目標。然后本文結合殼狀數(shù)據(jù)選擇算法提出了一種改進的離群點檢測策略。由于許多傳統(tǒng)的檢測方法較復雜，無法直接適用于大規(guī)模數(shù)據(jù)集。同時通過分析不難發(fā)現(xiàn)整個數(shù)據(jù)集中大部分都是非離群點，因此傳統(tǒng)的離群點算法浪費了大部分時間在遍歷非離群點上。為了減少非離群點的遍歷改進的離群點算法首先采用殼狀數(shù)據(jù)選擇算法將大部分非離群點刪去，然后使用二分劃分算法將縮減后的數(shù)據(jù)集劃分成多個子區(qū)域，再對子區(qū)域排序并使用kNN算法來進行離群點分析