基于Spark的社交主題分析與應用.pdf

1、自然語言處理被認為是大數(shù)據(jù)時代十分關(guān)鍵的技術(shù)之一，尤其對于互聯(lián)網(wǎng)上的“用戶生成內(nèi)容”進行文本分析蘊含著巨大的商業(yè)價值。主題模型是一類無監(jiān)督的文本處理方法，其發(fā)展經(jīng)歷了從LSI模型到p LSI模型，再到 LDA模型的研究階段。盡管用LDA模型進行主題挖掘已經(jīng)得到了廣泛的實際應用，但數(shù)據(jù)規(guī)模變大后效率明顯降低，在數(shù)據(jù)處理過程中，有效數(shù)據(jù)覆蓋度和執(zhí)行效率難以兼顧。
　　隨著分布式系統(tǒng)的發(fā)展，大規(guī)模數(shù)據(jù)計算已經(jīng)得到廣泛的運用。近兩年發(fā)展起

2、來的Spark平臺憑借著基于內(nèi)存計算的優(yōu)勢，在大規(guī)模數(shù)據(jù)機器學習領(lǐng)域受到了廣泛的青睞。原因是將中間計算結(jié)果保留在緩存，這種做法非常適合運用到機器學習模型的反復迭代過程之中。這一技術(shù)為解決大規(guī)模數(shù)據(jù)主題挖掘的低效率問題奠定了基礎(chǔ)。但LDA模型中Gibbs采樣的每一步執(zhí)行都強依賴于其他步的執(zhí)行結(jié)果，如果簡單地將其分塊后并行處理，過程中并行修改同一統(tǒng)計量直接破壞了變量的一致性，而若將變量異步更新則失去了并行化的意義?？梢?，強依賴每步執(zhí)行狀態(tài)的

3、算法模型較難并行化，這也是為何發(fā)展迅速的Spark平臺上，機器學習庫MLlib中的算法依然十分稀少的主要原因。因此，LDA模型的并行化過程存在較大的難度。
　　為了解決上述問題，本文利用LDA模型中各文檔及各詞語獨立分布的假設條件，和 Gibbs采樣過程各變量依賴更新的特點，創(chuàng)新性提出了解決方案，降低了LDA模型并行化過程中不一致性帶來的影響，明顯的提高了LDA模型的效率。該解決方案包含：（1）對原始數(shù)據(jù)集重構(gòu)方法；（2）對執(zhí)行過

4、程的階段性劃分方法；（3）階段內(nèi)計算和階段間變量同步的策略。具體的做法是：根據(jù)設定的并行度P和建立的詞匯表，將數(shù)據(jù)集分塊，進而將其劃分到計算過程的P個階段之中，保證每一個階段選擇P個依賴度最小的數(shù)據(jù)塊，然后階段內(nèi)并行采樣，階段間變量同步。通過以上的方案計算直至模型收斂，得到主題分布結(jié)果。本文工作有效的解決了LDA模型在并行化中遇到的理論瓶頸，極大地改善了并行運算中數(shù)據(jù)塊間的變量不一致性情況，為LDA模型的并行化提供了理論依據(jù)。該方法也給

5、同類強依賴每一步狀態(tài)的算法實現(xiàn)并行化提供了思路。
　　此外，本文利用Spark平臺實現(xiàn)了LDA主題模型的并行化。在這基礎(chǔ)之上，考慮新浪微博文本內(nèi)容特征，采用以用戶為單元將微博內(nèi)容聚合為長文本、清洗轉(zhuǎn)發(fā)內(nèi)容、TF-IDF過濾無效詞等多種處理方法提升模型效果，最終形成了一套高效的社交主題分析系統(tǒng)，其性能與使用標準L DA模型進行主題分析相比大幅提升，可供企業(yè)進行高效的微博社交數(shù)據(jù)主題挖掘。進一步地，可泛化用以分析其他社交平臺數(shù)據(jù)。該分