網(wǎng)絡(luò)輿情分析系統(tǒng)研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)成為了網(wǎng)民發(fā)表觀點、表達思想的主要途徑。信息在互聯(lián)網(wǎng)上傳播具有高速、廣泛、隱蔽性等特點，導(dǎo)致大規(guī)模的網(wǎng)絡(luò)輿情很容易形成。網(wǎng)絡(luò)輿情指的是網(wǎng)民在各大論壇、微博等網(wǎng)絡(luò)平臺上，對重點社會事件、政府政策措施以及熱點新聞等，所表達意見和態(tài)度的總和。政府機構(gòu)、企業(yè)通過對網(wǎng)絡(luò)輿情的分析，能實時掌控輿情發(fā)展態(tài)勢，及時果斷地采取相關(guān)措施，避免輿情危機帶來的危害，從而保證社會與企業(yè)穩(wěn)定、和諧、健康發(fā)展。
　　本文針對傳統(tǒng)

2、輿情數(shù)據(jù)采集效率和性能上的不足，設(shè)計出一種高效穩(wěn)定的分布式網(wǎng)絡(luò)爬蟲輿情數(shù)據(jù)采集架構(gòu)。研究網(wǎng)絡(luò)輿情分析中文本聚類和分類兩個核心技術(shù)，對不足之處進行改進并應(yīng)用于本文系統(tǒng)中。本文的主要工作有：
　　1、分布式網(wǎng)絡(luò)爬蟲架構(gòu)。分析 Hadoop分布式云平臺和 Nutch分布式爬蟲技術(shù)，設(shè)計出將Nutch集成在Hadoop集群中獲取輿情數(shù)據(jù)的分布式爬蟲架構(gòu)，保證系統(tǒng)對輿情數(shù)據(jù)采集的高效率和準確性。
　　2、文本聚類方法。研究文本聚類算法

3、，比較各種聚類算法的優(yōu)缺點，選取適合網(wǎng)絡(luò)輿情話題發(fā)現(xiàn)的BIRCH算法進行研究，通過實驗探究和優(yōu)化閾值T的選取，保證文本聚類算法的準確性，并作為輿情話題發(fā)現(xiàn)的方法。
　　3、文本分類方法。研究文本分類算法，比較各種分類算法的優(yōu)缺點，選取SVM算法作為基礎(chǔ)算法，針對其只比較適合二值分類的弊端，在分類訓(xùn)練時加入二叉樹模型，減少和優(yōu)化分類器的選取，提高了分類的準確率和效率，通過實驗進行了驗證，并作為輿情話題跟蹤的方法。
　　4、系統(tǒng)