BBS熱點(diǎn)話題發(fā)現(xiàn)與監(jiān)控系統(tǒng).pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展為BBS的普及提供了條件,目前BBS已經(jīng)成為一種常用的交流工具,網(wǎng)民可通過(guò)BBS發(fā)起新話題或回復(fù)現(xiàn)有的話題來(lái)表達(dá)對(duì)某個(gè)事件的看法。從一定角度來(lái)看,BBS是現(xiàn)實(shí)社會(huì)的鏡像,因而可以采集BBS中的數(shù)據(jù),為BBS輿情分析提供數(shù)據(jù)基礎(chǔ)。本文實(shí)現(xiàn)的熱點(diǎn)話題發(fā)現(xiàn)、話題監(jiān)控功能都是以BBS實(shí)時(shí)數(shù)據(jù)為基礎(chǔ)的。
　　 本文在分析國(guó)內(nèi)外BBS熱點(diǎn)話題發(fā)現(xiàn)與監(jiān)控現(xiàn)狀和發(fā)展的基礎(chǔ)上,從系統(tǒng)的整體設(shè)計(jì)和實(shí)現(xiàn)過(guò)程入手,深入分析系統(tǒng)結(jié)構(gòu)設(shè)計(jì)和

2、系統(tǒng)處理流程等方面的問(wèn)題。本研究主要內(nèi)容如下：⑴BBS數(shù)據(jù)采集:數(shù)據(jù)采集是整個(gè)熱點(diǎn)話題發(fā)現(xiàn)與監(jiān)控系統(tǒng)的基礎(chǔ),本文利用傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)的運(yùn)行原理,并結(jié)合論壇的特征,提出基于論壇版塊擴(kuò)展的BBS數(shù)據(jù)采集策略,實(shí)現(xiàn)對(duì)BBS論壇的高效采集。⑵BBS數(shù)據(jù)預(yù)處理:采集所得的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù),系統(tǒng)需要對(duì)其處理,使之轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。預(yù)處理部分主要包括頁(yè)面信息抽取和文本向量表示兩個(gè)主要步驟。⑶BBS熱點(diǎn)話題發(fā)現(xiàn):話題識(shí)別是熱點(diǎn)話題發(fā)現(xiàn)的關(guān)鍵步驟,本文采用