基于數(shù)據(jù)密度估計的聚類與離群點檢測研究.pdf

1、計算機科學發(fā)展至今，已可以通過數(shù)值計算來幫助人類分析問題并做出適當?shù)臎Q策。同時存儲技術和數(shù)據(jù)采集技術的進步，使人們可以收集保存大量的數(shù)據(jù)。如何利用這些數(shù)據(jù)得到知識成為近年研究的熱點。數(shù)據(jù)挖掘技術是利用數(shù)據(jù)得到新的潛在有用的知識的有力工具。統(tǒng)計分析技術是數(shù)據(jù)挖掘的重要基礎理論之一。而概率密度估計是統(tǒng)計分析技術的重要技術之一。因此，研究與密度估計有關的數(shù)據(jù)分析技術有重要意義。
　　 數(shù)據(jù)局部密度作為數(shù)據(jù)的一個重要特征，能夠體現(xiàn)出數(shù)據(jù)

2、內(nèi)部結構狀態(tài)，可有效幫助人類理解數(shù)據(jù)的結構。因此，具有嚴謹數(shù)學基礎的概率密度估計算法是數(shù)據(jù)挖掘領域常用的分析方法，經(jīng)過科研工作者的多年研究，大量數(shù)據(jù)密度估計算法已經(jīng)廣泛應用在聚類，分類，離群點檢測，數(shù)據(jù)壓縮等研究領域。數(shù)據(jù)密度估計算法的基本假設為：如果數(shù)據(jù)觀測值遵從某種分布規(guī)律，那么估計得到數(shù)據(jù)對應的概率密度可以推測數(shù)據(jù)具有的某種規(guī)律。數(shù)據(jù)密度大的地方對應數(shù)據(jù)的類中心區(qū)域，數(shù)據(jù)密度小的地方代表類邊界，或者例外點或者離群點。這兩種情況對應

3、著數(shù)據(jù)挖掘領域的聚類和離群點檢測，顯然這兩個研究方向是可以在數(shù)據(jù)密度估計的層次上統(tǒng)一到同一個框架中。
　　 本文通過研究已有的數(shù)據(jù)密度估計算法，提出了一種新的自適應的數(shù)據(jù)密度估計方法，與以往的算法相比，可以增加類內(nèi)數(shù)據(jù)的相似度，減少類間的相似度，更好的發(fā)現(xiàn)數(shù)據(jù)內(nèi)部結構，在FCM聚類初始點選擇和離群點檢測領域得到了有效的應用。
　　 在聚類方面，提出的算法可以通過尋找數(shù)據(jù)內(nèi)密度最大點來給出類中心的估計值，為FCM算法提供有