基于網(wǎng)格劃分的高維大數(shù)據(jù)集離群點(diǎn)檢測(cè)算法研究.pdf

1、近些年來(lái)，隨著科學(xué)技術(shù)與計(jì)算機(jī)技術(shù)的飛速發(fā)展，數(shù)據(jù)挖掘技術(shù)得到了快速的發(fā)展并運(yùn)用于各個(gè)領(lǐng)域。聚類分析與離群點(diǎn)檢測(cè)技術(shù)是數(shù)據(jù)挖掘技術(shù)中最重要的兩個(gè)方面。離群點(diǎn)檢測(cè)是數(shù)據(jù)挖掘知識(shí)發(fā)現(xiàn)中一項(xiàng)重要研究領(lǐng)域，如電子商務(wù)中的欺詐行為監(jiān)測(cè)，網(wǎng)絡(luò)攻擊異常檢測(cè)等。所謂離群點(diǎn)，即數(shù)據(jù)集中偏離正常行為的點(diǎn)對(duì)象，離群點(diǎn)檢測(cè)過(guò)程即在原始數(shù)據(jù)集中尋找“異常模式”的過(guò)程。離群點(diǎn)檢測(cè)技術(shù)最早運(yùn)用于統(tǒng)計(jì)領(lǐng)域，即基于統(tǒng)計(jì)分布的離群點(diǎn)檢測(cè)。隨后專家學(xué)者們提出了基于距離的方法

2、，基于密度的方法，基于偏差的方法等多種經(jīng)典的離群點(diǎn)檢測(cè)方法，這些方法在一定程度上能檢測(cè)出適用本身算法的離群點(diǎn)，但均存在著一定的缺陷與不足，如依賴于用戶預(yù)先設(shè)置的參數(shù)，檢測(cè)效率與檢測(cè)精度低等。高維空間與大數(shù)據(jù)集中離群點(diǎn)檢測(cè)是離群點(diǎn)發(fā)現(xiàn)領(lǐng)域中非常重要的一個(gè)領(lǐng)域，近來(lái)受到了廣泛關(guān)注。但由于高維空間中數(shù)據(jù)集存在數(shù)據(jù)分布稀疏，屬性維度高等特性，導(dǎo)致傳統(tǒng)離群點(diǎn)檢測(cè)方法不再有效。如何尋找適用高維空間與大數(shù)據(jù)集中離群點(diǎn)發(fā)現(xiàn)方法是當(dāng)前高維空間離群點(diǎn)檢測(cè)領(lǐng)

3、域面臨的一大難題。針對(duì)以上問(wèn)題，本文主要對(duì)高維空間與大數(shù)據(jù)集中離群點(diǎn)檢測(cè)方法進(jìn)行了研究。
　　 本文首先對(duì)離群點(diǎn)檢測(cè)方法進(jìn)行了分析與研究，重點(diǎn)闡述了基于統(tǒng)計(jì)的，基于距離的，基于密度的與基于偏差的四種傳統(tǒng)離群點(diǎn)檢測(cè)方法，并對(duì)各自算法存在的問(wèn)題進(jìn)行了分析與比較；接著對(duì)高維空間與大數(shù)據(jù)集特性進(jìn)行了分析與研究，重點(diǎn)闡述了高維空間與大數(shù)據(jù)集上數(shù)據(jù)挖掘的方法與特點(diǎn)；針對(duì)傳統(tǒng)離群點(diǎn)檢測(cè)方法在高維空間大數(shù)據(jù)集離群點(diǎn)發(fā)現(xiàn)存在的問(wèn)題，本文提出了一種