網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)信息存儲設(shè)計與實現(xiàn).pdf

1、為保證輿情監(jiān)控的有效性和高效性，輿情監(jiān)控系統(tǒng)需實時地獲取大量的輿情信息，能高效的存儲這些輿情信息并進(jìn)行海量數(shù)據(jù)分析。本文中輿情系統(tǒng)數(shù)據(jù)呈現(xiàn)的特點是數(shù)據(jù)量大(TB級別)、文件小而多，需分布式存儲。雖然分布式存儲相關(guān)工作在近幾十年已經(jīng)相當(dāng)?shù)某墒?，但考慮到輿情系統(tǒng)信息處理單元小、快速的讀寫響應(yīng)和讀寫的高度并行性需求，需為其開發(fā)專有的分布式數(shù)據(jù)存儲。
　　結(jié)合集群文件系統(tǒng)機(jī)器間信息傳輸延遲小的特點和P2P分布式系統(tǒng)數(shù)據(jù)訪問的靈活性，設(shè)計了

2、一種類Napster的局域網(wǎng)信息存儲系統(tǒng)。該信息存儲系統(tǒng)具有高吞吐量、低響應(yīng)時間和很好的可擴(kuò)展性，具有一定的容錯性和透明性；它將很多輿情系統(tǒng)相關(guān)操作集成在存儲系統(tǒng)內(nèi)部，大大降低了網(wǎng)絡(luò)信息傳輸，使得整個輿情監(jiān)控能高效運轉(zhuǎn)。
　　負(fù)載均衡對于集群系統(tǒng)中機(jī)器的充分均等使用、降低系統(tǒng)對外響應(yīng)時間起著關(guān)鍵性作用。存儲系統(tǒng)在完成信息存儲基本功能的基礎(chǔ)上集成了大量輿情相關(guān)計算任務(wù)，負(fù)載均衡需充分考慮存儲和計算。本文為提高爬蟲寫并行性和降低爬蟲寫