基于Spark on Yarn的Twitter熱點(diǎn)話題探測系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著科技的高速發(fā)展，網(wǎng)絡(luò)中出現(xiàn)了數(shù)據(jù)量爆發(fā)式增長的問題，為了有效地處理該問題，云計算相關(guān)技術(shù)有了長足的發(fā)展，并在相關(guān)領(lǐng)域發(fā)揮了重要作用。Twitter作為當(dāng)今最重要的社交媒體之一，其中蘊(yùn)含了大量可挖掘的熱點(diǎn)話題信息。針對Twitter的熱點(diǎn)話題探測系統(tǒng)普遍存在兩點(diǎn)不足:第一，該類系統(tǒng)通常僅能挖掘出基于單一詞語爆發(fā)式增長的熱點(diǎn)話題;第二，不能挖掘出熱點(diǎn)話題的相關(guān)性話題。針對以上兩點(diǎn)不足，本文設(shè)計了基于Spark on Yarn的Twitt

2、er熱點(diǎn)話題探測系統(tǒng)。
　　針對第一點(diǎn)不足，本文提出了一個基于Spark Streaming的實(shí)時熱點(diǎn)話題探測方法。該方法通過Flume數(shù)據(jù)接收組件獲取當(dāng)前最新數(shù)據(jù)，能夠?qū)崿F(xiàn)實(shí)時地挖掘爆發(fā)式增長的關(guān)鍵詞組合并能夠有效結(jié)合歷史數(shù)據(jù)對熱點(diǎn)話題進(jìn)行判斷。同時，該方法中通過對頻繁集挖掘算法FP-Growth進(jìn)行改進(jìn)，利用所提出的SFP-Growth算法并行地從流式數(shù)據(jù)中探測出當(dāng)前實(shí)時熱點(diǎn)話題，能夠提高FP-Growth算法的運(yùn)行效率，同時

3、保證熱點(diǎn)話題判斷的準(zhǔn)確性。針對第二點(diǎn)不足，本文利用Word2vec算法，給出了該算法的Spark實(shí)現(xiàn)，以挖掘當(dāng)前實(shí)時熱點(diǎn)話題的相關(guān)性話題。該算法充分考慮了詞語間的相關(guān)性，能夠有效提高相關(guān)話題挖掘的準(zhǔn)確性。
　　在上述研究內(nèi)容的基礎(chǔ)上，設(shè)計并實(shí)現(xiàn)了一個完整的Twitter熱點(diǎn)話題挖掘系統(tǒng)，并在集群環(huán)境中部署運(yùn)行。同時，開展了一系列的實(shí)驗(yàn)對文所提出的關(guān)鍵算法進(jìn)行了測試，實(shí)驗(yàn)結(jié)果表明所提出的算法和系統(tǒng)能夠保證Twitter熱點(diǎn)話題探測的