基于Random Forest的缺失數(shù)據(jù)補全策略研究.pdf

1、數(shù)據(jù)作為信息的載體，其質(zhì)量是信息表達(dá)的關(guān)鍵要素，在對數(shù)據(jù)質(zhì)量的評價體系中，數(shù)據(jù)完整性是其中很重要的一個維度。然而在現(xiàn)實環(huán)境下的數(shù)據(jù)采集和存儲過程中，往往會由于各種原因引發(fā)數(shù)據(jù)不同程度上的缺失，造成數(shù)據(jù)信息的不完全，影響到后期的研究分析。而現(xiàn)有的數(shù)據(jù)挖掘方法主要建立在完整數(shù)據(jù)的基礎(chǔ)上，隨著數(shù)據(jù)缺失量的持續(xù)上升，給挖掘所得知識的準(zhǔn)確性帶來很大的負(fù)面影響。
　　為了解決數(shù)據(jù)缺失給數(shù)據(jù)挖掘帶來的負(fù)面影響，本論文基于隨機森林構(gòu)建預(yù)測模型對被

2、挖掘數(shù)據(jù)進(jìn)行預(yù)處理，補全缺失數(shù)據(jù)。隨機森林不僅具有出色的分類性能，并且能自動分析實例關(guān)系，因此，可通過度量實例間的相似性來對缺失數(shù)據(jù)進(jìn)行預(yù)測，是補全缺失數(shù)據(jù)的一種有效方法。
　　然而當(dāng)前隨機森林在缺失數(shù)據(jù)補全中，實例相似性度量不夠全面準(zhǔn)確，因此，本論文首先針對隨機森林在實例相似性度量上的“粗糙二分”問題，考慮決策樹結(jié)點間路徑距離對實例相似度的影響，提出了一種能更全面映射實例間關(guān)系的相似度計算標(biāo)準(zhǔn)；同時為了保證算法的魯棒性和充分利用

3、數(shù)據(jù)集信息，本論文考慮缺失實例的信息量，引入kNN思想對隨機森林的數(shù)據(jù)補全策略進(jìn)行改進(jìn)。通過使用改進(jìn)的數(shù)據(jù)補全策略對5個測試數(shù)據(jù)集進(jìn)行仿真實驗，結(jié)果表明，本論文改進(jìn)的隨機森林?jǐn)?shù)據(jù)補全策略與傳統(tǒng)方法相比，具有更好的補全準(zhǔn)確度，驗證了所提方法的有效性。
　　其次，由于隨機森林以中位數(shù)/眾數(shù)簡單預(yù)測法為初始化方法給缺失屬性賦值，一定程度上改變了原始數(shù)據(jù)分布，影響最終補全結(jié)果的準(zhǔn)確性和收斂速度。本論文針對此問題，引入貝葉斯理論替代中位數(shù)/