基于Spark并行LDA主題模型的研究.pdf

1、基于Spark并行LDA主題模型的研究重慶大學碩士學位論文(專業(yè)學位)學生姓名：肖建指導教師：葛亮副教授學位類別：工程碩士（計算機技術領域）重慶大學計算機學院二O一六年四月重慶大學碩士學位論文中文摘要I摘要隨著信息技術和互聯網的高速發(fā)展，人們所能夠獲取的數據信息越來越多，數據的規(guī)模也在急劇增長，已經從最初的GB上升到TB甚至ZB級別。這些數據具有極大的潛在價值，但是卻因為數據規(guī)模的原因加大了處理難度，因此如何快速有效地從中獲取所需的有用

2、信息成了人們亟待解決的問題。LDA（LatentDirichletAllocation，隱含狄利克雷分配）算法是一種用于文本處理的主題模型，它能夠通過獲取文檔在主題空間的低維表示來實現文檔的分析。為了進一步提高算法能夠處理數據的量級，算法的并行化也成了人們研究的熱點。ADLDA（ApproximateDistributedLDA，近似分布式LDA）是通過Gibbs采樣實現的并行化LDA算法，算法采用全局同步的思想，每次迭代完成以后才同步

3、融合得到全局的主題模型參數。由于在采樣的過程中并不能及時更新全局的釆樣參數，所以導致最終結果的精度相對標準的LDA算法還是略有損失。本文的主要工作如下：（1）在研究已有主題模型的基礎上，提出基于并行化ADLDA算法的改進方法，在對數據進行分割的過程中，引入TFIDF（TermFrequencyInverseDocumentFrequency，詞頻逆文檔頻率）算法計算文本間的相似度，并將相似度高的文檔分配到同一數據分塊，減弱了數據分塊之間

4、的相互依賴性，降低了并行算法中因為不能及時更新全局采樣參數帶來的精度損失。（2）為了提高ADLDA算法處理海量數據的能力，本文考慮將算法放在分布式框架下運行。Spark是一個基于內存計算的分布式框架，擁有HadoopMapReduce所具有的優(yōu)點，并且能更好地適用于數據挖掘與機器學習等需要多次迭代的算法。因此本文選擇在Spark框架下實現了該算法。最后通過實驗對比了經典數據集下不同算法的收斂速度、困惑度以及加速比的情況。實驗結果表明，改