基于Spark平臺的SVD算法設(shè)計(jì)實(shí)現(xiàn)和應(yīng)用.pdf

1、奇異值分解（Singular Value Decomposition）是線性代數(shù)中一種重要的矩陣分解算法。在信號處理、機(jī)器學(xué)習(xí)等領(lǐng)域都有廣泛的應(yīng)用，可用于對數(shù)據(jù)進(jìn)行降維，主成分分析，噪聲過濾，信息的分解和重構(gòu)等方面。而在當(dāng)前信息爆炸時代，大數(shù)據(jù)背景下，傳統(tǒng)的SVD算法實(shí)現(xiàn)難以應(yīng)對海量數(shù)據(jù)處理。結(jié)合大數(shù)據(jù)處理平臺、高效的分布式算法設(shè)計(jì)和應(yīng)用，已經(jīng)成為一個富有意義和挑戰(zhàn)的研究方向。
　　Spark是由加州大學(xué)伯克利分校AMP實(shí)驗(yàn)開發(fā)的

2、基于內(nèi)存的分布式計(jì)算框架。相對于MapReduce等分布式計(jì)算框架，它的優(yōu)勢在于能夠很好地適應(yīng)迭代計(jì)算，能高效地處理復(fù)雜的海量數(shù)據(jù)計(jì)算問題，良好地適應(yīng)分布式迭代算法開發(fā)。
　　為了解決海量數(shù)據(jù)處理的問題，本文針對大規(guī)模稀疏矩陣設(shè)計(jì)了并行的SVD算法并在Spark平臺上進(jìn)行了實(shí)現(xiàn)。在大規(guī)模稀疏數(shù)據(jù)下的算法實(shí)現(xiàn)需要面對兩個問題，一是計(jì)算過程中要保證數(shù)據(jù)的稀疏度，二是能夠高效地實(shí)現(xiàn)并行化。針對這兩個問題，本文給出了基于Lanczos分解

3、算法、二分法和反冪法等算法設(shè)計(jì)了SVD并行算法。Lanczos算法是一種將實(shí)對稱矩陣變換成對稱三對角矩陣的算法，是求解大規(guī)模對稱矩陣特征問題最有效方法之一，而二分法和反冪法分別用于高效地求解三對角矩陣特征值和特征向量。對基于Spark平臺的SVD算法在效率、準(zhǔn)確性、加速比方面展開了實(shí)驗(yàn)，結(jié)果表明，算法在對大規(guī)模數(shù)據(jù)處理時有較高的實(shí)現(xiàn)效率。
　　本文還給出了SVD算法在信息檢索領(lǐng)域，查詢推薦方面的應(yīng)用研究。利用SVD算法，通過對搜索