面向網(wǎng)絡輿情分析的數(shù)據(jù)采集與管理方法研究.pdf

1、網(wǎng)絡新媒體時代，互聯(lián)網(wǎng)正在改變當前社會的輿情環(huán)境，人們通過網(wǎng)絡針對社會焦點問題和熱門話題發(fā)表自己的態(tài)度與看法，這些信息反映了社會民意與情緒，組成了網(wǎng)絡輿情的重要內(nèi)容。然而，網(wǎng)絡輿情數(shù)據(jù)往往孤立的分布在互聯(lián)網(wǎng)上各個數(shù)據(jù)源中，如微博、論壇和新聞網(wǎng)站，形成輿情信息孤島。本文研究將彼此孤立的輿情數(shù)據(jù)采集并統(tǒng)一管理，方便后續(xù)進行輿情分析，對出現(xiàn)的網(wǎng)絡輿情做出及時預警，幫助政府和輿情管理者采取相關措施以控制輿情的發(fā)展。本文在查詢了大量國內(nèi)外關于網(wǎng)絡

2、輿情分析的資料和成果后，在輿情數(shù)據(jù)采集與管理方法上做了詳細的研究設計，并最終實現(xiàn)了一個完整的以網(wǎng)絡數(shù)據(jù)采集與管理為核心的網(wǎng)絡輿情分析系統(tǒng)。本文的主要工作如下：
　　1.針對多數(shù)據(jù)源網(wǎng)絡輿情數(shù)據(jù)采集方法研究：針對輿情信息內(nèi)容主題，選擇合適的信息數(shù)據(jù)源，設計了對應的輿情信息數(shù)據(jù)的采集方法。
　　2.web新聞正文抽取算法研究：web新聞數(shù)據(jù)是我們輿情數(shù)據(jù)采集的主體，而web新聞正文內(nèi)容信息抽取是必不可少的工作。本文采用基于統(tǒng)計和

3、基于網(wǎng)頁結(jié)構(gòu)的web信息抽取思想，改進了一個已有的通用網(wǎng)頁正文抽取算法，并設計了一個基于統(tǒng)計和DOM樹結(jié)構(gòu)的web新聞正文抽取算法。最后在正文信息抽取精度和速度上對兩個算法做了測試、對比。
　　3.針對海量網(wǎng)絡輿情數(shù)據(jù)管理方法研究：為了實現(xiàn)海量輿情信息數(shù)據(jù)存儲，本文使用hadoop+HBase分布式系統(tǒng)構(gòu)建起海量輿情信息數(shù)據(jù)中心；針對HBase數(shù)據(jù)檢索的局限性，采用分布式全文索引工具Solr來實現(xiàn)HBase的二級索引，以解決海量中