基于子空間的高維數(shù)據(jù)流聚類算法研究.pdf

1、數(shù)據(jù)流聚類是數(shù)據(jù)流挖掘中重要的研究領(lǐng)域，目前國內(nèi)外數(shù)據(jù)流聚類算法還存在諸多問題。例如，未很好解決高維數(shù)據(jù)內(nèi)在的稀疏性，聚類效率低下，數(shù)據(jù)類型僅限于數(shù)值數(shù)據(jù)，不能滿足用戶的需求等等。針對這些問題，本文主要研究基于子空間的數(shù)據(jù)流聚類算法，其研究成果對顧客購物模式、網(wǎng)絡(luò)通信的錯誤分析、電子商務(wù)、商業(yè)智能以及市場決策等領(lǐng)域具有重要的意義。
　　首先，為了解決高維數(shù)據(jù)的稀疏性，以及在當(dāng)前受限聚類環(huán)境中聚類效率和精度受數(shù)據(jù)流流量的高波動性影響

2、較大等問題，提出了一種高維數(shù)據(jù)流的自適應(yīng)子空間聚類算法SAStream。該算法改進(jìn)了HPStream中的微簇結(jié)構(gòu)并定義候選簇，只在相應(yīng)的子空間內(nèi)計(jì)算新來數(shù)據(jù)點(diǎn)到候選簇質(zhì)心的距離，減少聚類時被檢查微簇的數(shù)目，將形成的微簇存儲在金字塔時間框架中，使用時間衰減函數(shù)刪除過期的微簇；當(dāng)數(shù)據(jù)流量大時，根據(jù)監(jiān)測的系統(tǒng)資源使用情況自動調(diào)整界限半徑和簇選擇因子，從而調(diào)節(jié)聚類的粒度。
　　其次，為了聚類高維分類數(shù)據(jù)流，提出了一種基于子空間的高維分類數(shù)

3、據(jù)流聚類算法 SUBCStream。該算法改進(jìn)了簇的壓縮存儲結(jié)構(gòu)，引進(jìn)了符號表和頻率表存儲數(shù)據(jù)。定義了聚類目標(biāo)函數(shù)，通過最小化目標(biāo)函數(shù)的方法達(dá)到發(fā)現(xiàn)簇和對應(yīng)子空間的目的。通過對簇結(jié)構(gòu)進(jìn)行加法運(yùn)算，可以合并簇結(jié)構(gòu)或者構(gòu)建新的簇結(jié)構(gòu)。為每個數(shù)據(jù)點(diǎn)和簇定義了衰減函數(shù)，刪除最久未更新的微簇，減小了內(nèi)存開支。
　　最后，本文使用Java對上述算法進(jìn)行實(shí)現(xiàn)，實(shí)驗(yàn)數(shù)據(jù)集選擇了真實(shí)數(shù)據(jù)集和仿真數(shù)據(jù)集，對提出的SAStream算法和SUBCStre