基于EMD的數(shù)據(jù)流相似性連接的研究.pdf

1、近年來，隨著共享視頻、社交網(wǎng)絡(luò)等新興產(chǎn)品的崛起，網(wǎng)絡(luò)中的數(shù)據(jù)規(guī)模也呈爆炸式增長。這些數(shù)據(jù)具有結(jié)構(gòu)復(fù)雜、數(shù)量巨大等特點(diǎn)，因此從海量數(shù)據(jù)中提取關(guān)鍵數(shù)據(jù)難度變得越來越大，尤其是在海量數(shù)據(jù)中做相似性連接顯得愈發(fā)困難。所謂相似性連接，是指從一個(gè)或兩個(gè)數(shù)據(jù)源中查找所有的相似數(shù)據(jù)對(duì)，并返回結(jié)果。相似性搜索在概率數(shù)據(jù)相關(guān)的許多實(shí)際應(yīng)用中扮演著十分重要的作用，如無線傳感器網(wǎng)絡(luò)、股票分析以及基于多個(gè)視頻源的對(duì)象跟蹤。EMD距離(Earth Mover's

2、Distance)在計(jì)算機(jī)視覺領(lǐng)域返回的相似性概率數(shù)據(jù)與人類對(duì)相似性的判斷更一致。然而，EMD立方級(jí)的復(fù)雜度阻礙了其相關(guān)應(yīng)用的普及，特別是在分析快速到達(dá)數(shù)據(jù)的數(shù)據(jù)流方面，同時(shí)源源不斷到達(dá)的數(shù)據(jù)可能會(huì)造成系統(tǒng)緩存不足、系統(tǒng)過載導(dǎo)致性能急劇下降等問題。為此，本文嘗試采用EMD的方法對(duì)滑動(dòng)窗口語義的數(shù)據(jù)流進(jìn)行相似性連接處理，主要開展了以下方面的研究工作:
　　(1)針對(duì)EMD距離函數(shù)優(yōu)化問題中存在的復(fù)雜度高、計(jì)算時(shí)間長，數(shù)據(jù)流數(shù)據(jù)的無限

3、性等問題，提出一種基于B+森林索引框架的EMD相似性算法(稱為EMD-DSJoin)。算法的設(shè)計(jì)思想是:利用線性規(guī)劃的原始對(duì)偶理論把到達(dá)的直方圖概率數(shù)據(jù)轉(zhuǎn)換為EMD下界距離，然后基于EMD的下界距離構(gòu)建一組B+森林索引，利用B+森林有效地對(duì)不需要進(jìn)行EMD計(jì)算的直方圖概率數(shù)據(jù)剪枝，從而加快基于EMD的相似性連接效率;最后利用滑動(dòng)窗口解決有限緩存保存延遲數(shù)據(jù)問題。算法具體的實(shí)現(xiàn)方法為:(a)通過構(gòu)建B+樹森林和更新可行解，提高過濾效果，過

4、濾掉完全相關(guān)或完全不相關(guān)的數(shù)據(jù);通過構(gòu)建子索引，利用丟棄成塊的子索引完成數(shù)據(jù)的丟棄，減少丟棄數(shù)據(jù)的維護(hù)代價(jià)。(b)優(yōu)化B+樹森林存檔周期，根據(jù)滑動(dòng)窗口值和容量因子的變化，使存檔周期P值達(dá)到自適應(yīng)變化的效果，從而讓B+樹森林索引機(jī)制更高效運(yùn)行。通過用真實(shí)環(huán)境的數(shù)據(jù)集進(jìn)行的驗(yàn)證實(shí)驗(yàn)和對(duì)比分析結(jié)果表明，EMD-DSJoin算法的CPU時(shí)間、EMD求精次數(shù)都有一定程度的減少，處理速度比已有對(duì)比算法快了35％左右，說明EMD-DSJoin算法使數(shù)

5、據(jù)剪枝更為高效，為處理亂序數(shù)據(jù)提供更為有效的處理策略。
　　(2)數(shù)據(jù)流的數(shù)據(jù)到達(dá)并不是勻速的，當(dāng)數(shù)據(jù)在某時(shí)間段集中到達(dá)時(shí)，由于系統(tǒng)資源有限，數(shù)據(jù)流高爆發(fā)時(shí)容易造成系統(tǒng)過載，從而導(dǎo)致連接性能大幅度下降。為了解決這一問題，本文提出了基于EMD-DSJoin算法的降載策略。該策略充分考慮了數(shù)據(jù)流上數(shù)據(jù)具有的時(shí)間關(guān)聯(lián)性，在系統(tǒng)過載時(shí)過濾掉數(shù)據(jù)中包含的冗余數(shù)據(jù)，有效減少了相似性連接的次數(shù)，同時(shí)盡可能保證相似性連接結(jié)果的完整性。實(shí)驗(yàn)結(jié)果表明