面向視覺大數(shù)據(jù)的聚類方法的研究與應(yīng)用.pdf

1、隨著大數(shù)據(jù)時代的到來，各種信息呈現(xiàn)爆炸式增長，尤其圖像數(shù)據(jù)，不僅豐富而且抽象。傳統(tǒng)的圖像檢索技術(shù)與聚類算法受到單機(jī)架構(gòu)的制約，不能滿足當(dāng)今的實(shí)時性需求。為了幫助快速有效的完成圖像檢索，迫切需要分布式處理架構(gòu)來協(xié)助實(shí)現(xiàn)相關(guān)機(jī)器學(xué)習(xí)算法，目前分布式框架有很多，其中Spark基于內(nèi)存的計(jì)算模式，非常適合迭代的機(jī)器學(xué)習(xí)算法，而且相比流行多年的Hadoop框架，Spark做機(jī)器學(xué)習(xí)甚至可以快100多倍。所以這里選用Spark分布式計(jì)算框架，來實(shí)現(xiàn)

2、大數(shù)據(jù)背景下的圖像檢索相關(guān)聚類算法。
　　文章首先詳細(xì)闡述了Spark分布式計(jì)算框架的運(yùn)行原理、編程模型以及機(jī)器學(xué)習(xí)庫，又探討了CUDA架構(gòu)的編程模型、線程組織結(jié)構(gòu)及對應(yīng)的硬件架構(gòu)，然后探討了視覺詞袋模型在圖像檢索架構(gòu)中的應(yīng)用及遇到的瓶頸。在此基礎(chǔ)上，結(jié)合Spark分布式計(jì)算框架與CUDA架構(gòu)實(shí)現(xiàn)了基于Spark-GPU技術(shù)的常用的圖像聚類算法K-means，并在Spark以及CUDA架構(gòu)中分別實(shí)現(xiàn)了子空間聚類算法Local Be

3、st-Fit Flat(LBF)。這里主要做了以下三個主要貢獻(xiàn):
　　(1)在Linux操作系統(tǒng)環(huán)境下，搭建了Spark分布式計(jì)算平臺與GPU計(jì)算環(huán)境，并在Spark以及Spark-GPU云平臺上分別實(shí)現(xiàn)了聚類算法K-means，經(jīng)過兩者性能比較，證明了Spark-GPU技術(shù)對K-means聚類算法進(jìn)行了有效加速。
　　(2)通過分析子空間聚類算法Local Best-Fit Flat(LBF)的可并發(fā)性，完成了其在Spar

4、k云平臺和CUDA架構(gòu)上的實(shí)現(xiàn)，并分析了導(dǎo)致Spark-LBF的低效率的根本原因，然后將最為耗時的C選K個最優(yōu)子空間的任務(wù)轉(zhuǎn)移給適合并行計(jì)算的GPU，使得算法性能獲得有效提升。
　　(3)總結(jié)出基于視覺詞袋模型的圖像檢索解決方案。在模型構(gòu)建過程中敏銳的觀察到架構(gòu)的瓶頸所在，將架構(gòu)中涉及到的圖像聚類算法K-means和子空間聚類算法LBF進(jìn)行性能優(yōu)化，從而服務(wù)于圖像檢索架構(gòu)。
　　經(jīng)過多次對比實(shí)驗(yàn)，表明了基于Spark-GPU