基于數(shù)據(jù)流的Skyline計(jì)算及應(yīng)用研究.pdf

1、近年來,流數(shù)據(jù)挖掘與管理成為學(xué)術(shù)界和工業(yè)界所共同關(guān)注的問題。隨著skyline計(jì)算在多標(biāo)準(zhǔn)決策系統(tǒng)、城市導(dǎo)航系統(tǒng)、數(shù)據(jù)挖掘和可視化、智能防御系統(tǒng)、以及地理信息系統(tǒng)等領(lǐng)域的廣泛應(yīng)用,有效地在數(shù)據(jù)流上實(shí)現(xiàn)skyline計(jì)算成為數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)。
　　 所謂數(shù)據(jù)流,是指連續(xù)、實(shí)時(shí)、有序的數(shù)據(jù)項(xiàng)序列。而由于數(shù)據(jù)流的數(shù)據(jù)具有實(shí)時(shí)、規(guī)模宏大、次序獨(dú)立以及只能一次讀取等特點(diǎn),使得skyline查詢處理算法必須能夠高效地處理數(shù)據(jù)流中到來的

2、每一個(gè)對(duì)象,并且要有較低的時(shí)間復(fù)雜.度。但是,從目前來看,現(xiàn)有的數(shù)據(jù)流上skyline查詢處理算法仍然存在著很多問題,比如大量數(shù)據(jù)計(jì)算時(shí)對(duì)數(shù)據(jù)的利用不合理導(dǎo)致時(shí)間空間的浪費(fèi)；由于對(duì)數(shù)據(jù)的去除率不足,使得進(jìn)行skyline計(jì)算時(shí)部分操作重復(fù)；沒有充分利用算法執(zhí)行期間已經(jīng)產(chǎn)生的skyline集合,導(dǎo)致算法性能較低。針對(duì)以上問題,本文研究了一種基于最近鄰過濾的skyline快速查詢算法,盡早地淘汰那些不再有機(jī)會(huì)加入skyline的對(duì)象,以提高

3、算法查詢效率。然后,將skyline計(jì)算應(yīng)用到無線傳感器網(wǎng)絡(luò)中,研究了一種基于簇結(jié)構(gòu)的近似skyline查詢算法,在保證近似精度的同時(shí)降低網(wǎng)絡(luò)的通信代價(jià)。本文的主要工作如下:
　　 (1)對(duì)與本文問題相關(guān)的基于數(shù)據(jù)流的skyline計(jì)算進(jìn)行剖析,指出數(shù)據(jù)流上的skyline查詢結(jié)果是一個(gè)不斷演化的過程,從而蘊(yùn)含著諸多難點(diǎn)與挑戰(zhàn),分析需要解決的問題,并引出本文所致力的工作。
　　 (2)提出基于最近鄰過濾的skyline快

4、速查詢算法,解決現(xiàn)有算法對(duì)數(shù)據(jù)對(duì)象去除率不足的問題。通過利用最近鄰過濾的思想,在預(yù)處理模塊采用歐氏距離來定義一個(gè)閾值。其中,閾值定義為所有當(dāng)前skyline點(diǎn)與原點(diǎn)距離的最大值。然后根據(jù)支配的定義,從新插入的數(shù)據(jù)對(duì)象中,將距離大于閾值的對(duì)象提前淘汰,以有效減少資源的消耗,降低時(shí)空復(fù)雜度。
　　 (3)設(shè)計(jì)一種簇結(jié)構(gòu)來組織無線傳感器網(wǎng)絡(luò)中的傳感器節(jié)點(diǎn)。這種簇結(jié)構(gòu)可以在進(jìn)行skyline查詢時(shí)形成一條查詢路徑,查詢結(jié)束后就可以按此路

5、徑反向收集數(shù)據(jù),從而減少網(wǎng)絡(luò)開銷。同時(shí),這種簇結(jié)構(gòu)可以達(dá)到負(fù)載平衡,從而有效地進(jìn)行查詢處理。
　　 (4)針對(duì)無線傳感器網(wǎng)絡(luò),提出一種基于簇結(jié)構(gòu)的近似skyline算法。根據(jù)用戶指定的近似度確定一個(gè)過濾閾值。簇中每個(gè)存儲(chǔ)節(jié)點(diǎn)計(jì)算自己的數(shù)據(jù)屬于skyline查詢結(jié)果集的概率,當(dāng)且僅當(dāng)該概率大于此過濾閾值時(shí)該節(jié)點(diǎn)才被訪問。由于每個(gè)傳感器節(jié)點(diǎn)只計(jì)算自己的數(shù)據(jù),無須與其它節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行比較,從而可避免大量的網(wǎng)內(nèi)通信開銷。實(shí)驗(yàn)結(jié)果表明,本