基于Web數(shù)據(jù)挖掘的信息綜合服務(wù)系統(tǒng)分析與設(shè)計(jì).pdf

1、隨著信息技術(shù)的迅猛發(fā)展和廣泛應(yīng)用,特別是我國國民經(jīng)濟(jì)和社會信息化進(jìn)程的全面加快,互聯(lián)網(wǎng)的基礎(chǔ)性、全局性作用日益增強(qiáng),已成為國家和社會發(fā)展的新的重要戰(zhàn)略資源。與此同時互聯(lián)網(wǎng)也給國家安全、社會穩(wěn)定帶來了嚴(yán)峻的挑戰(zhàn)。近年來,一些群體性事件、突發(fā)事件和熱點(diǎn)、敏感問題在網(wǎng)上被惡意炒作,形成了強(qiáng)大的網(wǎng)上輿論氣候,各種煽動組織、串聯(lián)等信息通過互聯(lián)網(wǎng)的各種服務(wù)方式快速、廣泛傳播,嚴(yán)重威脅社會穩(wěn)定,網(wǎng)上有關(guān)社會穩(wěn)定和國家安全的問題已經(jīng)十分突出。目前,國內(nèi)

2、主要從事互聯(lián)網(wǎng)輿情監(jiān)控技術(shù)研究的機(jī)構(gòu)是人民日報(bào)社網(wǎng)絡(luò)中心輿情監(jiān)測室。政府機(jī)關(guān)開展網(wǎng)絡(luò)監(jiān)察工作的單位主要是公安機(jī)關(guān),而公安部門開展互聯(lián)網(wǎng)輿情監(jiān)控工作的主要是網(wǎng)絡(luò)監(jiān)察部門。對于公安機(jī)關(guān)其他部門開展網(wǎng)絡(luò)輿情監(jiān)控工作則是通過人工網(wǎng)上巡控的方式實(shí)現(xiàn)的,那樣工作效率低,信息采集量小,獲取有價(jià)值信息比較困難。因此,建立一種互聯(lián)網(wǎng)輿情監(jiān)控的機(jī)制是非常必要和緊迫的。本項(xiàng)目就是基于以上目的進(jìn)行設(shè)計(jì)和研究的。
　　本系統(tǒng)的設(shè)計(jì)是基于作者本身實(shí)際工作的需

3、求,按照功能劃分主要分為:ETL數(shù)據(jù)獲取子系統(tǒng)、面向業(yè)務(wù)的數(shù)據(jù)處理子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)、信息綜合服務(wù)子系統(tǒng)四部分。ETL數(shù)據(jù)獲取子系統(tǒng)的功能定位是實(shí)現(xiàn)對一些重點(diǎn)網(wǎng)站、論壇、網(wǎng)頁微博和博客的相關(guān)Web數(shù)據(jù)的獲取、轉(zhuǎn)換、導(dǎo)入;面向業(yè)務(wù)的數(shù)據(jù)處理子系統(tǒng)的功能定位是對ETL數(shù)據(jù)獲取子系統(tǒng)獲取的數(shù)據(jù)根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)再加工;數(shù)據(jù)挖掘子系統(tǒng)的功能定位是對再加工的分類數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,從中發(fā)現(xiàn)對我們來說有價(jià)值的情報(bào)信息;信息綜合服務(wù)子系統(tǒng)的功能定

4、位是為系統(tǒng)用戶提供信息綜合查詢服務(wù),并為本地區(qū)本部門業(yè)務(wù)人員參與面向業(yè)務(wù)的數(shù)據(jù)再加工提供界面接口。
　　數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的應(yīng)用是本系統(tǒng)的關(guān)鍵,他們直接決定了本系統(tǒng)的實(shí)現(xiàn)是否能達(dá)到我們的預(yù)期。本文首先介紹了數(shù)據(jù)倉庫的一般理論知識、Web數(shù)據(jù)挖掘技術(shù)的研究與發(fā)展;接著從用戶的角度對本系統(tǒng)的設(shè)計(jì)進(jìn)行了相應(yīng)的需求分析;重點(diǎn)研究和討論了在本系統(tǒng)中數(shù)據(jù)倉庫維度模型設(shè)計(jì)、數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)和應(yīng)用;最后對系統(tǒng)測試和試運(yùn)行情況進(jìn)行了一個簡單的