基于Hadoop的農(nóng)業(yè)網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)研究與實(shí)現(xiàn)——以農(nóng)產(chǎn)品安全為例.pdf

1、伴隨互聯(lián)網(wǎng)技術(shù)的發(fā)展，國(guó)內(nèi)網(wǎng)民數(shù)量激增，互聯(lián)網(wǎng)已經(jīng)成為最大的新興媒體及輿論陣地。互聯(lián)網(wǎng)技術(shù)的發(fā)展給民眾帶來(lái)各種言論自由，涉農(nóng)輿情已經(jīng)深入日常生活和政府公共管理領(lǐng)域，社會(huì)影響日益增加。農(nóng)業(yè)關(guān)乎民生，網(wǎng)絡(luò)傳遞民意。正確引導(dǎo)涉農(nóng)輿論導(dǎo)向，防止負(fù)面輿論擴(kuò)散，迫切要求提高農(nóng)業(yè)網(wǎng)絡(luò)輿情監(jiān)測(cè)能力。本文旨在開發(fā)一種多功能、全面、有效、快速的涉農(nóng)網(wǎng)絡(luò)輿情監(jiān)測(cè)服務(wù)平臺(tái)，追蹤熱點(diǎn)話題，監(jiān)測(cè)敏感信息，及時(shí)防范負(fù)面情緒，正確引導(dǎo)涉農(nóng)網(wǎng)絡(luò)輿情，為政府相關(guān)部門和各行

2、各業(yè)提供全面有效的互聯(lián)網(wǎng)輿情數(shù)據(jù)服務(wù)的綜合性平臺(tái)。
　　本文首先闡述了網(wǎng)絡(luò)輿情監(jiān)測(cè)的相關(guān)背景和研究現(xiàn)狀，分析輿情監(jiān)測(cè)系統(tǒng)的關(guān)鍵技術(shù)和需求，并對(duì)輿情監(jiān)測(cè)系統(tǒng)進(jìn)行總體設(shè)計(jì)和詳細(xì)設(shè)計(jì)，對(duì)系統(tǒng)按功能模塊劃分并實(shí)現(xiàn)。然后，在分析現(xiàn)有網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)和互聯(lián)網(wǎng)新技術(shù)基礎(chǔ)上，集成搜索引擎Nutch和搜索應(yīng)用服務(wù)器Solr從互聯(lián)網(wǎng)采集農(nóng)產(chǎn)品安全相關(guān)信息作為數(shù)據(jù)源，提出熱點(diǎn)話題發(fā)現(xiàn)算法、話題追蹤和涉農(nóng)網(wǎng)絡(luò)輿情預(yù)警工作流程；改進(jìn)農(nóng)業(yè)相關(guān)的熱點(diǎn)話題發(fā)現(xiàn)算

3、法，提高了話題發(fā)現(xiàn)的準(zhǔn)確率和效率?；谠骗h(huán)境將系統(tǒng)部署在Hadoop分布式平臺(tái)下，利用Hadoop分布式海量數(shù)據(jù)處理性能，解決涉農(nóng)網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)的存儲(chǔ)空間低擴(kuò)展性和計(jì)算效率等問(wèn)題，為政府和企業(yè)等領(lǐng)域工作者和決策者提供理論支撐和決策依據(jù)。
　　最后，詳細(xì)介紹了系統(tǒng)模塊：信息采集模塊、輿情處理模塊、輿情分析模塊和輿情管理模塊。重點(diǎn)闡述了輿情分析模塊的功能和具體實(shí)現(xiàn)過(guò)程。經(jīng)測(cè)試和實(shí)際應(yīng)用表明該系統(tǒng)能夠?qū)崟r(shí)采集和更新農(nóng)產(chǎn)品安全相關(guān)信息，