網絡輿情監(jiān)控系統信息存儲設計與實現.pdf

1、為保證輿情監(jiān)控的有效性和高效性，輿情監(jiān)控系統需實時地獲取大量的輿情信息，能高效的存儲這些輿情信息并進行海量數據分析。本文中輿情系統數據呈現的特點是數據量大(TB級別)、文件小而多，需分布式存儲。雖然分布式存儲相關工作在近幾十年已經相當的成熟，但考慮到輿情系統信息處理單元小、快速的讀寫響應和讀寫的高度并行性需求，需為其開發(fā)專有的分布式數據存儲。
　　結合集群文件系統機器間信息傳輸延遲小的特點和P2P分布式系統數據訪問的靈活性，設計了

2、一種類Napster的局域網信息存儲系統。該信息存儲系統具有高吞吐量、低響應時間和很好的可擴展性，具有一定的容錯性和透明性；它將很多輿情系統相關操作集成在存儲系統內部，大大降低了網絡信息傳輸，使得整個輿情監(jiān)控能高效運轉。
　　負載均衡對于集群系統中機器的充分均等使用、降低系統對外響應時間起著關鍵性作用。存儲系統在完成信息存儲基本功能的基礎上集成了大量輿情相關計算任務，負載均衡需充分考慮存儲和計算。本文為提高爬蟲寫并行性和降低爬蟲寫