基于云平臺(tái)的網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)的分析與設(shè)計(jì).pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：多拉辱彬Ⅵ

2、‘甲年f。月均日摘要摘要隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)傳播也隨之興起，以往在傳統(tǒng)新聞媒介上無法實(shí)現(xiàn)的個(gè)人表達(dá)自由的言論得到空前的發(fā)展，而這種言論往往具有突發(fā)性、非理性等特點(diǎn)，因此對(duì)網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)及相關(guān)技術(shù)進(jìn)行研究設(shè)計(jì)具有很好的實(shí)際意義。網(wǎng)絡(luò)輿情監(jiān)測(cè)需要對(duì)網(wǎng)絡(luò)輿情進(jìn)行采集、分析、提取并保存，以供查詢、展示及預(yù)測(cè)等，數(shù)據(jù)抓取、數(shù)據(jù)解析、云存儲(chǔ)是其中的三個(gè)關(guān)鍵技術(shù)。為了有效進(jìn)行網(wǎng)絡(luò)輿情監(jiān)測(cè)，本文對(duì)以上三方面的關(guān)鍵技術(shù)展開研究，主要?jiǎng)?chuàng)新內(nèi)容包

3、括：1設(shè)計(jì)網(wǎng)絡(luò)信息獲取過程中的各種關(guān)鍵算法，包括：分布式bloom過濾器設(shè)計(jì)，解決爬蟲系統(tǒng)的url重復(fù)爬取問題；高效http代理算法設(shè)計(jì)，解決網(wǎng)站對(duì)ip限制的問題；基于雙消息隊(duì)列的P2P分布式網(wǎng)頁(yè)下載算法設(shè)計(jì)，實(shí)時(shí)響應(yīng)各種請(qǐng)求，可有效的突破網(wǎng)站限制等。2設(shè)計(jì)網(wǎng)絡(luò)信息預(yù)處理的各種關(guān)鍵算法，包括：一種海量web數(shù)據(jù)模式發(fā)現(xiàn)和數(shù)據(jù)結(jié)構(gòu)提取，解決了網(wǎng)頁(yè)模板自適應(yīng)的技術(shù)瓶頸；采用“基于DOM樹的可適應(yīng)性信息抽取算法”，結(jié)合并應(yīng)用“重復(fù)信息塊路徑集

4、法”、“樣本頁(yè)面集信息塊路徑歸納學(xué)習(xí)算法”、“Web信息規(guī)則抽取學(xué)習(xí)算法”等多種技術(shù)手段，具有自動(dòng)化程度高、適應(yīng)性和學(xué)習(xí)能力強(qiáng)的優(yōu)點(diǎn)；3設(shè)計(jì)一種基于云平臺(tái)的存儲(chǔ)架構(gòu)，解決海量數(shù)據(jù)存儲(chǔ)的問題。采用云計(jì)算架構(gòu)，對(duì)各種異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一管理，能夠有效防止單點(diǎn)故障，確保數(shù)據(jù)的可用性；同時(shí)可隨意插拔節(jié)點(diǎn)，高度可擴(kuò)展，以普通PC當(dāng)數(shù)據(jù)節(jié)點(diǎn)，具有低功耗、低成本等優(yōu)點(diǎn)。最后基于本研究所提的理論及方法，開發(fā)一套基于云平臺(tái)的網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)，并集成應(yīng)用于廈門