云計算環(huán)境下的并行Skyline算法及其應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)飛速發(fā)展，數(shù)據(jù)呈爆炸式增長，海量數(shù)據(jù)的處理需求越來越大。然而，由于數(shù)據(jù)量過大，使得海量數(shù)據(jù)處理對軟硬件要求高、系統(tǒng)資源占用多，因此海量數(shù)據(jù)的處理技術(shù)面臨著巨大挑戰(zhàn)。目前，以MapReduce為代表的云計算技術(shù)越來越受到學(xué)術(shù)界和商業(yè)界的關(guān)注，并且在海量數(shù)據(jù)處理上得到了普遍的應(yīng)用和推廣。Skyline算法作為一種有效的海量數(shù)據(jù)處理算法，可以幫助人們從數(shù)據(jù)中提取最感興趣或最關(guān)心的信息，有效地剪枝掉無用數(shù)據(jù)，避免數(shù)據(jù)分析時的干擾。本文

2、以云計算技術(shù)為依托，研究海量數(shù)據(jù)的Skyline算法，重點研究海量數(shù)據(jù)的靜態(tài)Skyline算法、動態(tài)Skyline算法和圖像數(shù)據(jù)的度量空間Skyline算法，以及這些算法在MapReduce架構(gòu)下的優(yōu)化和應(yīng)用問題。論文完成的主要研究工作如下:
　　針對海量數(shù)據(jù)靜態(tài)Skyline查詢時通信開銷大及其計算量大的問題，本文提出了高效的基于用戶喜好的子空間Skyline算法。針對海量數(shù)據(jù)計算量和通信開銷問題，該算法利用了基于網(wǎng)格的剪枝策略

3、來減少參與運算的數(shù)據(jù)點。針對海量數(shù)據(jù)Skyline計算返回用戶終端的結(jié)果集龐大、不利于用戶決策，并且用戶終端的存儲及網(wǎng)絡(luò)通信資源有限的問題，該算法采用基于用戶需求的SQM-filtering和ε-filtering過濾方法來返回Skyline結(jié)果的子集。最后利用MapReduce實現(xiàn)了基于用戶喜好的子空間Skyline算法，并在不同分布的數(shù)據(jù)集上進行實驗分析，實驗結(jié)果表明這些方法有效提高了子空間Skyline算法在處理海量數(shù)據(jù)時的效率。

4、
　　針對海量數(shù)據(jù)動態(tài)Skyline查詢時，一方面被查詢對象的屬性值隨著查詢對象的變化而變化，另一方面云計算環(huán)境的分布式存儲、并行處理情況復(fù)雜，因此動態(tài)Skyline算法處理海量數(shù)據(jù)時存在計算開銷大、實時性差等問題。針對這些問題，本文提出了一種基于MapReduce的動態(tài)Skyline算法，它利用基于網(wǎng)格的粗粒度全局Skyline格來實現(xiàn)快速查詢，通過全局Skyline格計算獲得候選結(jié)果集。這樣有效地剪枝掉一些非結(jié)果點，節(jié)省了大量

5、的計算開銷，提高了動態(tài)Skyline算法處理海量數(shù)據(jù)的運行效率。最后為了驗證該算法的效率和實用性，我們將該方法應(yīng)用到網(wǎng)絡(luò)監(jiān)控流數(shù)據(jù)的異常情況檢測中。
　　在圖像大數(shù)據(jù)的度量空間Skyline查詢中，針對基于語義度量空間選擇帶來的計算復(fù)雜度高等問題，本文提出了一種基于圖像多特征融合的度量空間Skyline算法，其核心是采用多特征融合圖像檢索方法(SKFF)。它在度量空間上采用圖像的底層特征來描述圖像，基于詞袋模型生成相似度向量，并將