面向數(shù)據(jù)流的優(yōu)化聚類(lèi)算法研究.pdf

1、近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)數(shù)據(jù)流上的聚類(lèi)分析問(wèn)題進(jìn)行了大量的研究工作，但仍存在不少問(wèn)題尚待研究和解決。大多數(shù)基于網(wǎng)格的聚類(lèi)算法，對(duì)網(wǎng)格單元缺乏有效的存儲(chǔ)結(jié)構(gòu)；現(xiàn)有算法對(duì)簇邊緣的數(shù)據(jù)點(diǎn)不能準(zhǔn)確聚類(lèi)，也不能有效處理噪聲點(diǎn)；序列數(shù)據(jù)普遍存在于數(shù)據(jù)流中，現(xiàn)有算法不能很好度量序列間的相似性，以致聚類(lèi)質(zhì)量較低。這些問(wèn)題的研究對(duì)現(xiàn)有數(shù)據(jù)流系統(tǒng)的聚類(lèi)分析功能的優(yōu)化以及在具體領(lǐng)域的應(yīng)用具有重要意義。
　　首先，設(shè)計(jì)了一種基于網(wǎng)格劃分的索引樹(shù)結(jié)構(gòu) Pks-

2、tree。該索引樹(shù)結(jié)構(gòu)僅存儲(chǔ)非空網(wǎng)格單元，并保持網(wǎng)格單元之間的位置關(guān)系，以提高聚類(lèi)時(shí)的存儲(chǔ)和檢索效率。在Pks-tree的基礎(chǔ)上設(shè)計(jì)基于網(wǎng)格密度的數(shù)據(jù)流聚類(lèi)算法，通過(guò)遍歷Pks-tree，并標(biāo)記不同的網(wǎng)格單元來(lái)獲得聚類(lèi)結(jié)果。
　　其次，提出了一種基于網(wǎng)格密度和關(guān)聯(lián)度的數(shù)據(jù)流聚類(lèi)算法。使用基于關(guān)聯(lián)度的技術(shù)處理簇邊緣的網(wǎng)格單元；定義一種基于時(shí)間的密度閾值函數(shù)，以實(shí)時(shí)地刪除噪聲點(diǎn)。算法基于網(wǎng)格密度對(duì)數(shù)據(jù)流初始聚類(lèi)后，隨著新數(shù)據(jù)的到來(lái)，使

3、用基于密度閾值函數(shù)的噪聲點(diǎn)處理策略，周期性檢測(cè)和刪除噪聲點(diǎn)，并基于網(wǎng)格密度和關(guān)聯(lián)度動(dòng)態(tài)地調(diào)整已生成的簇。
　　最后，提出了一種基于聚類(lèi)技術(shù)的軟件漏洞檢測(cè)方法。設(shè)計(jì)一種新的序列間相似性度量機(jī)制來(lái)指導(dǎo)聚類(lèi)過(guò)程，通過(guò)對(duì)已有軟件漏洞序列集進(jìn)行聚類(lèi)分析，挖掘潛在的漏洞模式，構(gòu)造模式庫(kù)；采用一種基于相似性度量的檢測(cè)機(jī)制來(lái)分析疑似漏洞序列，以降低檢測(cè)的誤報(bào)率和漏報(bào)率。通過(guò)計(jì)算疑似漏洞序列與模式庫(kù)中漏洞模式的相似度，對(duì)待測(cè)軟件進(jìn)行漏洞分析。