網(wǎng)絡(luò)信息流中熱門(mén)訪(fǎng)問(wèn)主題挖掘技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)輿情的重要性逐漸得以體現(xiàn)。社會(huì)上發(fā)生的熱點(diǎn)事件幾乎都能在互聯(lián)網(wǎng)上有所反映。因此，研究網(wǎng)絡(luò)輿情對(duì)于提高人民的生活水平，構(gòu)建和諧社會(huì)具有重要意義。
　　本文通過(guò)對(duì)網(wǎng)絡(luò)輿情的定義、特點(diǎn)、來(lái)源和傳播途徑的研究，設(shè)計(jì)了網(wǎng)絡(luò)輿情系統(tǒng)的原型。網(wǎng)絡(luò)輿情系統(tǒng)運(yùn)用了計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)挖掘、自然語(yǔ)言處理等多領(lǐng)域?qū)W科知識(shí)，對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行實(shí)時(shí)監(jiān)測(cè)，收集網(wǎng)頁(yè)，通過(guò)對(duì)主題的檢測(cè)和追蹤、突發(fā)事件分析、新聞趨勢(shì)分析，最后生成統(tǒng)計(jì)報(bào)表和輿情信息

2、預(yù)警。
　　實(shí)現(xiàn)熱門(mén)訪(fǎng)問(wèn)主題挖掘系統(tǒng)，需要結(jié)合自然語(yǔ)言處理的相關(guān)技術(shù)。本文根據(jù)網(wǎng)絡(luò)信息流的特點(diǎn)，選擇了合適的分詞算法和句子相似度計(jì)算方法，并為算法進(jìn)行了優(yōu)化。
　　數(shù)據(jù)流的特點(diǎn)是連續(xù)的、無(wú)限的、快速的和時(shí)變的。數(shù)據(jù)流頻繁項(xiàng)挖掘算法需要利用有限的內(nèi)存，以盡量少的次數(shù)掃描數(shù)據(jù)流就能得到頻繁項(xiàng)。LossyCounting算法是經(jīng)典的數(shù)據(jù)流頻繁項(xiàng)挖掘算法。本文使用了自然語(yǔ)言處理的相關(guān)方法對(duì)網(wǎng)頁(yè)主題進(jìn)行了預(yù)處理，使得LossyCoun

3、ting算法可以挖掘文本類(lèi)型的數(shù)據(jù)流，并利用了LossyCouning算法的摘要，實(shí)現(xiàn)了對(duì)一段時(shí)期熱門(mén)訪(fǎng)問(wèn)主題的挖掘。
　　本文根據(jù)以上理論，設(shè)計(jì)了網(wǎng)絡(luò)信息流中熱門(mén)訪(fǎng)問(wèn)主題挖掘系統(tǒng)，包括輿情信息采集模塊、網(wǎng)頁(yè)特征提取模塊、分詞模塊、相似度計(jì)算模塊和頻繁項(xiàng)挖掘模塊等。通過(guò)測(cè)試系統(tǒng)參數(shù)對(duì)系統(tǒng)功能和性能的影響，為系統(tǒng)參數(shù)的選擇提供了依據(jù)。
　　準(zhǔn)確率和運(yùn)行效率是衡量系統(tǒng)的重要標(biāo)準(zhǔn)。通過(guò)對(duì)系統(tǒng)的完整測(cè)試，證明了系統(tǒng)可以很好的對(duì)網(wǎng)絡(luò)數(shù)