災害監(jiān)測中海量數(shù)據(jù)的處理方法究.pdf

1、隨著無線傳感器網(wǎng)絡技術的發(fā)展，在災害監(jiān)測中所采集到的數(shù)據(jù)量越來越龐大，而數(shù)據(jù)的類型也越來越復雜，對這些海量數(shù)據(jù)的處理已受到廣泛的關注。隨著云計算技術的發(fā)展，hadoop平臺可以為大數(shù)據(jù)的處理提供很好的支撐，它能夠實現(xiàn)數(shù)據(jù)的并行化處理和海量存儲。
　　本文探討了基于分布式處理平臺hadoop來搭建對海量數(shù)據(jù)處理的分布式系統(tǒng)模型，以利用Hadoop中的HDFS和MapReduce來支持對海量數(shù)據(jù)的存儲和處理。本文從數(shù)據(jù)存儲、數(shù)據(jù)計算、

2、數(shù)據(jù)分析這三個方面探索了災害監(jiān)測中海量數(shù)據(jù)的處理模型設計:（1）通過對HDFS和Swift的對比分析發(fā)現(xiàn)，HDFS在支持超大數(shù)據(jù)存儲方面仍有不足，而Swift在大規(guī)模數(shù)據(jù)處理方面有很好的應用，因而提出了融合openstack和hadoop的數(shù)據(jù)處理的方案。（2)探討了海量數(shù)據(jù)的去重、格式化和數(shù)據(jù)流的處理方法。引入了基于actor模型的HFlame架構，能夠使處理流程組件化，易于封裝特定的處理邏輯。（3)針對海量數(shù)據(jù)的查詢和分析，引入了p