分布式網(wǎng)上信息實(shí)時(shí)監(jiān)控和動(dòng)態(tài)采集系統(tǒng).pdf

1、隨著寬帶接入技術(shù)的發(fā)展，人們通過(guò)Internet查詢(xún)信息變得越來(lái)越方便快捷。作為全球最大的信息資源網(wǎng)，Internet為人們提供了取之不盡用之不竭的信息資源。IE的WWW瀏覽器為人們?cè)诰W(wǎng)上搜索信息提供了方便，但它采用的是一種人工操作方式，無(wú)法實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)自動(dòng)獲取信息。在一些大中型企業(yè)、新聞機(jī)構(gòu)、政府部門(mén)以及一些門(mén)戶(hù)網(wǎng)站等，都很需要實(shí)現(xiàn)一種功能，即由計(jì)算機(jī)實(shí)時(shí)動(dòng)態(tài)采集網(wǎng)上信息，并對(duì)所采集的信息進(jìn)行審核處理。為此，本文作者提出了網(wǎng)上信息實(shí)時(shí)

2、動(dòng)態(tài)采集系統(tǒng)這一課題。 系統(tǒng)建立在分布式多線(xiàn)程體系結(jié)構(gòu)上，采用先進(jìn)的結(jié)構(gòu)化多模塊組合設(shè)計(jì)，使得在Internet這種大數(shù)據(jù)量、大訪(fǎng)問(wèn)量的環(huán)境下，系統(tǒng)保持高速、穩(wěn)定，以滿(mǎn)足用戶(hù)對(duì)許多個(gè)網(wǎng)站同時(shí)實(shí)時(shí)動(dòng)態(tài)采集的要求。整個(gè)系統(tǒng)由監(jiān)控子系統(tǒng)、采集子系統(tǒng)、分析審核子系統(tǒng)、高級(jí)檢索子系統(tǒng)和管理子系統(tǒng)等組成。系統(tǒng)可以靈活地配置為集中式或分布式方式，在用戶(hù)所監(jiān)控采集的信息量不大的場(chǎng)合下，可以采用集中式方式，即所有子系統(tǒng)運(yùn)行在同一臺(tái)聯(lián)入Intern

3、et的機(jī)器上，同時(shí)完成監(jiān)控、采集和審核處理工作；在用戶(hù)所動(dòng)態(tài)采集的信息量較大的場(chǎng)合下，可以采用分布式方式，其中監(jiān)控子系統(tǒng)和采集子系統(tǒng)運(yùn)行在一臺(tái)或多臺(tái)聯(lián)入Internet的前臺(tái)機(jī)上，完成信息的監(jiān)控采集工作，而審核處理子系統(tǒng)、高級(jí)檢索子系統(tǒng)等則運(yùn)行在后臺(tái)服務(wù)器上，處理來(lái)自前臺(tái)機(jī)的信息。 本系統(tǒng)對(duì)各類(lèi)企事業(yè)單位進(jìn)行網(wǎng)上信息的收集利用提供了一個(gè)高效的手段，如政府管理部門(mén)可以利用這一功能對(duì)互聯(lián)網(wǎng)上信息進(jìn)行實(shí)時(shí)監(jiān)控；新聞媒體可用它實(shí)時(shí)收集一