基于數(shù)據(jù)窗的在線概念漂移檢測(cè).pdf

1、隨著信息時(shí)代的推進(jìn)，在諸如網(wǎng)絡(luò)安全、股票分析、氣象監(jiān)控、信用卡欺詐等領(lǐng)域產(chǎn)生大量無法長(zhǎng)期存儲(chǔ)的數(shù)據(jù)，這些隨時(shí)間而無限增長(zhǎng)的動(dòng)態(tài)數(shù)據(jù)稱之為數(shù)據(jù)流。數(shù)據(jù)流的分析與處理受存儲(chǔ)容量和計(jì)算速度等因素的制約，同時(shí)數(shù)據(jù)流中隱含豐富的、有價(jià)值的知識(shí)，而且其隱含的知識(shí)概念可能會(huì)隨著環(huán)境的變化、時(shí)間的推移而發(fā)生動(dòng)態(tài)變化，也即概念漂移。
　　數(shù)據(jù)流中的數(shù)據(jù)具有快速性、實(shí)時(shí)性、無限性、廣域性同時(shí)還具有動(dòng)態(tài)變化特性，加之客觀存在的概念漂移，這使得在初始數(shù)據(jù)

2、集上建立的模型很難適應(yīng)當(dāng)前數(shù)據(jù)分布特性，從而給流數(shù)據(jù)的分析和挖掘問題帶來了嚴(yán)峻的挑戰(zhàn)。其中，如何準(zhǔn)確及時(shí)有效地檢測(cè)流數(shù)據(jù)中發(fā)生的概念漂移并適應(yīng)漂移變化已成為機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)和難點(diǎn)問題。為此，本文針對(duì)動(dòng)態(tài)流數(shù)據(jù)中的概念漂移的檢測(cè)問題展開了研究，主要工作如下：
　?。?）對(duì)近年來國(guó)際上關(guān)于流數(shù)據(jù)概念漂移檢測(cè)方法的研究成果進(jìn)行了總結(jié)，分析了已有漂移檢測(cè)算法存在的優(yōu)缺點(diǎn)。
　　（2）為了能夠準(zhǔn)確快速地檢測(cè)到不同類型的

3、概念漂移和不同概念漂移發(fā)生的具體位置。提出一種基于交疊數(shù)據(jù)窗的在線概念漂移檢測(cè)方法，該方法通過計(jì)算相鄰交疊數(shù)據(jù)窗異構(gòu)歐氏距離，并通過近鄰原則判別數(shù)據(jù)窗中樣本不一致程度，從而實(shí)現(xiàn)分布差異性評(píng)價(jià)和漂移的檢測(cè)。為了評(píng)價(jià)該方法的有效性，在具有不同漂移嚴(yán)重程度和漂移速度的公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明：交疊數(shù)據(jù)窗比非交疊數(shù)據(jù)窗更能及時(shí)準(zhǔn)確地檢測(cè)到漂移的發(fā)生。
　?。?）研究了一種基于數(shù)據(jù)窗典型相關(guān)分析的在線概念漂移檢測(cè)方法，該方法把當(dāng)前到

4、來的數(shù)據(jù)流序列看成一系列矩陣窗口，然后通過奇異值分解和典型相關(guān)分析技術(shù)處理實(shí)現(xiàn)分布差異性評(píng)價(jià)，并通過調(diào)整數(shù)據(jù)窗來適合于不同類型的概念漂移的檢測(cè)。在包含不同嚴(yán)重程度和不同漂移速度的人工漂移數(shù)據(jù)集上的實(shí)驗(yàn)表明，該算法能夠很好地檢測(cè)到漸變式漂移的發(fā)生和較嚴(yán)重的突變漂移；在半人工數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，驗(yàn)證了經(jīng)過調(diào)整后的數(shù)據(jù)窗比固定數(shù)據(jù)窗的檢測(cè)效果要好；最后，將算法應(yīng)用到了真實(shí)數(shù)據(jù)集——意大利電力公司的Powersupply數(shù)據(jù)集的漂移檢測(cè)，驗(yàn)證了