基于密度的不確定數(shù)據(jù)離群點檢測研究.pdf

1、近年來，隨著人們對數(shù)據(jù)采集和處理技術理解的不斷深入，不確定數(shù)據(jù)挖掘技術在移動電信、軍事、經(jīng)濟和氣象領域扮演關鍵角色，如GPS裝置或者移動電話進行位置追蹤、傳感數(shù)據(jù)管理和特征數(shù)據(jù)提取等[1]。然而在現(xiàn)實生活中獲取的數(shù)據(jù)并非都是準確無誤的，如傳感器網(wǎng)絡、隱私保護、數(shù)據(jù)集成、位置服務和射頻技術應用過程中，由于數(shù)據(jù)采集方式、氣候或者人為干擾等外界因素都會產(chǎn)生大量不完整或者有誤差的數(shù)據(jù)，這些數(shù)據(jù)對象都不是單個數(shù)據(jù)點，而是按照一定的概率出現(xiàn)，這些數(shù)

2、據(jù)稱為不確定性數(shù)據(jù)。由于不確定數(shù)據(jù)自身的隨機性和復雜性很難使用傳統(tǒng)的數(shù)據(jù)挖掘技術，有關不確定數(shù)據(jù)的離群點檢測研究成果還有所不足，所以對不確定數(shù)據(jù)進行離群點檢測研究很有現(xiàn)實意義。
　　本文使用基于密度的方法進行不確定數(shù)據(jù)離群點檢測，定義了一個基于密度的不確定局部離群點因子（Uncertain Local Outlier Factor:ULOF）的概念，用于表征不確定數(shù)據(jù)集中對象的局部離群程度，值越大說明對象的離群程度越高，從中提取離

3、群度最高的n個數(shù)據(jù)對象。
　　本文主要完成以下工作：
　　①根據(jù)不確定數(shù)據(jù)的所屬類型和產(chǎn)生原因，針對元組級不確定數(shù)據(jù)集的離群點檢測，設計了基于密度的不確定數(shù)據(jù)離群點檢測算法。通過建立不確定數(shù)據(jù)的可能世界模型來確定不確定對象在可能世界中的概率，并結合傳統(tǒng)的局部離群因子（Local Outlier Factor:LOF）算法推導出ULOF算法，最后根據(jù)每個對象的ULOF值判斷該對象在不確定對象集中的離群程度。
　?、诰C合考

4、慮不確定元組對象的元值和概率，結合每個不確定對象的ULOF進行不確定數(shù)據(jù)集的UTop-k查詢，找出離群度最高的n個數(shù)據(jù)對象。
　　③對ULOF算法的效率性、準確性以及時間和空間復雜度進行了詳細分析，提出了基于網(wǎng)格的剪枝策略、k最近鄰查詢優(yōu)化來減少離群數(shù)據(jù)的候選集，有效地提高算法效率，降低算法的時間復雜度。
　?、芡ㄟ^模擬數(shù)據(jù)實驗和真實數(shù)據(jù)實驗來評估 ULOF的可行性，比較并分析ULOF算法在不同參數(shù)影響下的效率性、伸縮性和準