并行LDA、聚類算法的研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，社會進(jìn)入了一個數(shù)據(jù)爆炸的時代。這些數(shù)據(jù)蘊(yùn)含著大量的價值，如何從這些海量數(shù)據(jù)中挖掘出有價值的信息成為了當(dāng)前的研究熱點(diǎn)。面對海量的數(shù)據(jù)，傳統(tǒng)的單機(jī)處理技術(shù)已經(jīng)無法處理，因而人們開始尋求新的解決辦法，云計算、大數(shù)據(jù)處理技術(shù)也就應(yīng)運(yùn)而生了。在眾多的大數(shù)據(jù)處理技術(shù)中，Spark是近幾年興起的一種基于內(nèi)存計算的并行計算框架。它的優(yōu)勢在于十分擅長進(jìn)行交互式和迭代式計算，因而受到廣泛的使用。
　　本文在Spark框架上對機(jī)器

2、學(xué)習(xí)、數(shù)據(jù)挖掘的方法作了并行化的設(shè)計。文中還涉及到詞語相似度的計算，對計算方法作了一些改進(jìn)。最后將這些方法應(yīng)用到微博廣告的投放中去，實(shí)現(xiàn)廣告的定向投放。
　　本文的研究工作可以分為以下四個方面：
　　1.基于Spark框架，設(shè)計了LDA主題模型的并行化方法。在LDA模型中，采用吉布斯采樣的方法對模型進(jìn)行推導(dǎo)。通過對數(shù)據(jù)集的分割，將每個子數(shù)據(jù)集分配到集群中的各個節(jié)點(diǎn)進(jìn)行并行運(yùn)算，從而實(shí)現(xiàn)LDA模型的并行計算。
　　2.對

3、二分K均值算法進(jìn)行改進(jìn)并設(shè)計了基于Spark的并行算法。針對原有的算法在二分過程中，初始質(zhì)心的選擇速度存在不足，提出了采用極大距離點(diǎn)作為初始質(zhì)心的二分K均值算法。改進(jìn)后的算法，大大降低了運(yùn)算時間。另外，本文在Spark框架下，作了改進(jìn)后的二分K均值算法的并行化設(shè)計。
　　3.對詞語相似度計算方法做了改進(jìn)。本文的詞語相似度計算方法是基于HowNet的，通過對HowNet的研究，本文將對詞語相似度計算方法進(jìn)行改進(jìn)，實(shí)驗(yàn)表明改進(jìn)后的詞語