校園BBS輿情數(shù)據(jù)收集與提取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)文化安全問(wèn)題日益突出，同時(shí)網(wǎng)絡(luò)輿情監(jiān)控也變得日益重要。對(duì)于高校而言，復(fù)雜的網(wǎng)絡(luò)環(huán)境不僅有很大的正面意義，對(duì)學(xué)校的思想教育工作也是極大的挑戰(zhàn)，所以為了能夠防微杜漸，高校需要及時(shí)掌握校園網(wǎng)絡(luò)輿情的發(fā)展規(guī)律。BBS作為校園網(wǎng)內(nèi)最活躍的公共平臺(tái)，對(duì)于校園網(wǎng)BBS輿情信息的監(jiān)測(cè)自然成為研究的重點(diǎn)，而這一課題首先需要解決的問(wèn)題就是收集BBS頁(yè)面數(shù)據(jù)，并提取出相關(guān)信息作為進(jìn)一步輿情分析的數(shù)據(jù)基礎(chǔ)。
　　 基于上述情況

2、，本文首先對(duì)Web頁(yè)面收集技術(shù)即網(wǎng)絡(luò)爬蟲進(jìn)行了研究，并將其原理與BBS特性充分結(jié)合，提出了一個(gè)定向于校園BBS的輿情數(shù)據(jù)收集與提取系統(tǒng)。該系統(tǒng)采用正則表達(dá)式進(jìn)行統(tǒng)一資源定位符（URL）過(guò)濾，此方法能夠快速濾除不符合要求的URL。另一方面，系統(tǒng)將Bloom Filter算法應(yīng)用到URL去重中，大大節(jié)省了已訪問(wèn)URL的存儲(chǔ)空間。對(duì)于所獲得的頁(yè)面，系統(tǒng)根據(jù)它們對(duì)應(yīng)URL的特征進(jìn)行分類存儲(chǔ)，然后進(jìn)行模板化提取以增強(qiáng)系統(tǒng)的靈活性，其中模板采用可擴(kuò)