基于云計算的山東黃河水情預測探索研究

1、基于云計算的山東黃河水情預測探索研究李凱王前馬德輝(山東黃河信息中心山東濟南250013)摘要：摘要：云計算（Cloudcomputing），云計算是分布式處理（DistributedComputing）、并行處理（ParallelComputing）和網格計算（GridComputing）的發(fā)展，透過網絡將龐大的計算處理程序，自動拆分成無數(shù)個較小的程序，再交給由多臺服務器所組成的龐大系統(tǒng)，經搜尋，計算分析之后，將處理結果回傳給用戶。本

2、文依托云計算，采用馬斯京根(Muskingum)法分河段連續(xù)演算來預測山東黃河水情，為山東黃河地區(qū)防汛抗旱、水量調度的科學決策提供技術支撐。關鍵詞：關鍵詞：云計算；分布式處理；并行處理；網格計算；馬斯京根法；1引言引言山東黃河地處黃河下游，歷來是黃河防汛的重點。如何充分的利用先進的科學技術，整合現(xiàn)有的資源來預測黃河下游水情，為黃河防汛抗旱決策提供技術支撐，保證黃河安瀾是重中之重的問題。隨著技術的不斷發(fā)展，信息采集設備的不斷完善，導致數(shù)據

3、激增，IT系統(tǒng)負擔加重；地域分隔，信息孤島拉低效能；實時分析能力差，海量數(shù)據處理效率低；標準各異，數(shù)據規(guī)范有待統(tǒng)一。這些問題都嚴重制約了山東黃河水情預測技術的發(fā)展。因此需制定短期和長期技術規(guī)劃，以適應未來信息系統(tǒng)的發(fā)展，解決跨平臺異構應用系統(tǒng)的數(shù)據共享與集成問題。因此本文引入云計算技術，消除各業(yè)務系統(tǒng)和各組織結構之間的信息孤島，獲取黃河數(shù)據資源的單一視圖，確保數(shù)據的完整性、及時性、準確性和一致性，同時實現(xiàn)元數(shù)據的可視化統(tǒng)一管理，滿足高并

4、發(fā)、實時動態(tài)獲取和更新數(shù)據、海量數(shù)據的高效率存儲和訪問、高可擴展性和高可用性等需求，有效的提高山東黃河水情預測的準確性和時效性。目前，山東黃河廣域網已經形成省、市、縣三級體系結構，已經具備部署以分布式并操作，將合并計算的預測數(shù)據存儲回HDFS從而完成一次黃河下游洪水預測任務。3.13.1分布式存儲（分布式存儲（HDFSHDFS）Hdfs采用的是masterslave模型，一個Hdfscluster包含一個NameNode和一些列的Dat

5、aNode，其中NameNode充當?shù)氖莔aster的角色，主要負責管理Hdfs文件系統(tǒng)，接受來自客戶端的請求；DataNode主要是用來存儲數(shù)據文件，Hdfs將一個文件分割成一個多這是多個的block，這些block可能存儲在一個DataNode上或者是多個DataNode上。3.23.2分布式計算（分布式計算（MAPREDUCEMAPREDUCE）MapReduce采用“分而治之“的思想，把對大規(guī)模數(shù)據集的操作，分發(fā)給一個主節(jié)點管理

6、下的各個分節(jié)點共同完成，然后通過整合各個節(jié)點的中間結果，得到最終結果。在Hadoop中，用于執(zhí)行MapReduce任務的機器角色有兩個：一個是JobTracker；另一個是TaskTracker，JobTracker是用于調度工作的，TaskTracker是用于執(zhí)行工作的。一個Hadoop集群中只有一臺JobTracker。在分布式計算中，MapReduce框架負責處理了并行編程中分布式存儲、工作調度、負載均衡、容錯均衡、容錯處理以及網