基于Storm分布式食品安全網(wǎng)絡輿情檢測方法研究.pdf

1、近十年，食品安全問題儼然成為了社會關注的熱門話題，頻繁發(fā)生的食品安全話題具有傳播速度快、影響極其深遠的特點。因此，話題檢測的時效性要求變高，但是當前世界已經(jīng)進入大數(shù)據(jù)的時代，數(shù)據(jù)量呈指數(shù)增長，數(shù)據(jù)量的爆炸導致傳統(tǒng)的框架已經(jīng)無法做到實時處理，食品安全網(wǎng)絡輿情監(jiān)測研究迫在眉睫。本文的主要研究內(nèi)容包括基于Storm分布式框架的話題提取、基于自編碼神經(jīng)網(wǎng)絡的文本數(shù)據(jù)特征提取和分布式食品安全網(wǎng)絡輿情檢測系統(tǒng)的改進。主要工作如下:
　　1、當

2、前話題檢測的時效性要求高，因此，本文將Single-Pass話題檢測算法在Storm分布式框架上進行了改進，有效地提高了話題的檢測速度，且隨著集群中機器節(jié)點數(shù)量的增加，在保證聚類精度的同時，算法運算速度相應增加，從而有效提高了話題檢測的時效性。
　　2、因為傳統(tǒng)的Single-Pass算法的聚類精度不高，所以本課題基于自編碼神經(jīng)網(wǎng)絡對Single-Pass進行改進。該算法在特征提取時擁有多個隱藏層，可以對原始數(shù)據(jù)實現(xiàn)重構，因而可以