異構(gòu)分布式數(shù)據(jù)流分類方法研究.pdf

1、異構(gòu)分布式數(shù)據(jù)流（Heterogeneous Distributed Data Stream）是指相互聯(lián)系的多個(gè)數(shù)據(jù)流，其數(shù)據(jù)來(lái)自地理上分布的數(shù)據(jù)源，且各數(shù)據(jù)源觀測(cè)不同的屬性集。目前，異構(gòu)分布式數(shù)據(jù)流的應(yīng)用越來(lái)越廣泛（如傳感器網(wǎng)絡(luò)，進(jìn)程控制等）。從異構(gòu)分布式數(shù)據(jù)流中提取知識(shí)的能力已變得相當(dāng)重要。
　　 從異構(gòu)的分布式數(shù)據(jù)流中進(jìn)行知識(shí)挖掘是一個(gè)重要的研究課題，面臨著許多挑戰(zhàn)性的問題。首先，把多個(gè)節(jié)點(diǎn)的數(shù)據(jù)流傳送到中心節(jié)點(diǎn)進(jìn)行數(shù)據(jù)挖

2、掘可以是一種解決問題的方法，目前的研究嘗試這樣的思路，從研究角度上對(duì)于更加深入地了解分布式數(shù)據(jù)流的挖掘特點(diǎn)是有意義的。其次，從技術(shù)上這種集中式的數(shù)據(jù)傳輸是不可行的，數(shù)據(jù)流的集中式挖掘缺點(diǎn)是顯而易見的：由于數(shù)據(jù)傳輸量大可能導(dǎo)致通訊問題、由于中心節(jié)點(diǎn)的處理數(shù)據(jù)量大可能導(dǎo)致計(jì)算瓶頸等。
　　 本文針對(duì)這些問題，提出了兩種方法分類異構(gòu)分布式數(shù)據(jù)流，即基于BOOSTING的VHDDS分類方法和基于SPRINT的VHDDS分類方法，前者通過

3、BOOSTING技術(shù)來(lái)識(shí)別“hard”數(shù)據(jù)（即局部難分類數(shù)據(jù)），局部節(jié)點(diǎn)并行學(xué)習(xí)、更新模式、傳輸hard數(shù)據(jù)索引到中心節(jié)點(diǎn)；中心節(jié)點(diǎn)根據(jù)hard數(shù)據(jù)索引，收集hard數(shù)據(jù)，更新中心模式。hard數(shù)據(jù)相對(duì)較少，因此該算法能有效分散計(jì)算量，降低通訊負(fù)載。實(shí)驗(yàn)結(jié)果表明：我們的算法降低了通信量，整體上具有很高的分類精度。后者采用一種分布式的挖掘架構(gòu)和分塊的方式處理數(shù)據(jù)流，針對(duì)局部站點(diǎn)的每塊數(shù)據(jù)，在中心站點(diǎn)上建立相應(yīng)的全局分類器。在分類器的訓(xùn)練過