基于大數(shù)據(jù)平臺的鐵路通信網(wǎng)絡管理系統(tǒng)優(yōu)化設計與實現(xiàn)

1、<p>　　基于大數(shù)據(jù)平臺的鐵路通信網(wǎng)絡管理系統(tǒng)優(yōu)化設計與實現(xiàn)</p><p>　　[摘 要]針對目前鐵路通信網(wǎng)絡管理各系統(tǒng)各自獨立，集中存儲數(shù)據(jù)缺乏，無法進行全面檢測、統(tǒng)計和管理的現(xiàn)狀，提出了鐵路通信綜合網(wǎng)絡平臺建設的目標，設計了建設優(yōu)化的系統(tǒng)架構，并針對某鐵路局級綜合網(wǎng)絡管理中心的需求，進行了方案實現(xiàn)，為滿足未來多系統(tǒng)共用大數(shù)據(jù)平臺的需要提供了前期基礎。 </p><p>　

2、　[關鍵詞]鐵路通信網(wǎng)絡 大數(shù)據(jù)平臺 數(shù)據(jù)分析 </p><p>　　中圖分類號：U291-39 文獻標識碼：A 文章編號：1009-914X（2016）07-0029-01 </p><p>　　隨著中國鐵路的高速發(fā)展，鐵路通信網(wǎng)正迅速發(fā)展成為一個集光纖傳輸、無線傳輸、自動管理等高度數(shù)字化的大型網(wǎng)絡[1]。然就目前而言，鐵路通信網(wǎng)各個系統(tǒng)相對獨立，無法進行全面監(jiān)測、統(tǒng)計和管理，更無法為各

3、個系統(tǒng)和系統(tǒng)間的建設和優(yōu)化提供數(shù)據(jù)分析[2]。特別在當前大數(shù)據(jù)背景下，迫切需要通過綜合自動管理技術，對各個系統(tǒng)信息進行綜合呈現(xiàn)、綜合分析，以便整合鐵路資源和業(yè)務，為故障預測、預警提供數(shù)據(jù)基礎，為管理決策提供依據(jù)，從而實現(xiàn)鐵路運營管理方式的現(xiàn)代化。 </p><p>　　1.現(xiàn)狀鐵路通信網(wǎng)絡管理存在的問題 </p><p>　　受建設歷史原因及設備提供商限制，目前鐵路網(wǎng)管中心存在二十多套系統(tǒng)

4、，除通信組外，其它系統(tǒng)基本都是相互獨立，每套系統(tǒng)只針對各自的傳輸、設備等進行管理。在我國信息化建設起步晚的大環(huán)境下，臺賬報表的生成、輔助資源的分配、環(huán)境動力的布防、撤防及故障處理等很多工作是手工進行，且不能根據(jù)故障告警自動生成派工單，技術人員整日忙于電話接打中；告警定位沒有直觀形象的可視化界面顯示，只是給出數(shù)字指導，在有限的故障處理時間內，在如駐波的告警處理、光功率的故障處理中不能迅速定位故障，存在匆忙中出錯的可能；由于有些系統(tǒng)建設較新

5、，還沒有形成豐富的專家知識庫及典型案例。大數(shù)據(jù)技術是當前前沿技術，也是未來信息化發(fā)展的方向。但目前通信網(wǎng)管系統(tǒng)缺乏集中存儲數(shù)據(jù)，數(shù)據(jù)存在散、亂狀態(tài)，不能為將來的大數(shù)據(jù)分析提供數(shù)據(jù)積累，也不能為未來信息化的發(fā)展做數(shù)據(jù)沉淀[3-4]。 </p><p>　　2.鐵路通信網(wǎng)管系統(tǒng)建設目標 </p><p>　　通過對現(xiàn)有鐵路網(wǎng)管系統(tǒng)的整治，完善系統(tǒng)。對目前處于散、亂的數(shù)據(jù)進行集中存儲管理，為將來

6、的大數(shù)據(jù)分析積累基礎數(shù)據(jù)，并在大數(shù)據(jù)平臺上（Cloudera）進行數(shù)據(jù)挖掘、關聯(lián)分析、預測性分析和統(tǒng)計。通過對告警歷史數(shù)據(jù)的回歸、關聯(lián)性分析，預測未來系統(tǒng)可能發(fā)生的故障，并定位故障點，提出故障處理意見，在故障處理規(guī)定的時間內（如5分鐘內上報，10分鐘處理完畢）指導技術人員快速定位和處理故障。 </p><p><b>　　3.系統(tǒng)架構 </b></p><p><

7、;b>　　3.1 設計概要 </b></p><p>　　為滿足大數(shù)據(jù)平臺下的業(yè)務需求，設計一種新的硬件架構，以滿足多系統(tǒng)共用大數(shù)據(jù)平臺的需求。為此，以某局級鐵路用戶為例，考慮需新增x86服務器，作為ROSS系統(tǒng)數(shù)據(jù)采集解析的服務集群；在Cloudera大數(shù)據(jù)平臺上，完成數(shù)據(jù)匯總及數(shù)據(jù)分析功能。數(shù)據(jù)存儲共用大數(shù)據(jù)平臺的分布式文件系統(tǒng)（HDFS），數(shù)據(jù)分析在Cloudera大數(shù)據(jù)平臺上進行。 &l

8、t;/p><p>　　3.2 設備選型及業(yè)務邏輯 </p><p>　　系統(tǒng)服務器采用多臺x86虛擬機服務器作為采集服務器集群，使其具備橫向擴展能力強、增減容方便、易于管理和監(jiān)控、可以快速部署上線等特點。 </p><p>　　3.3 整體技術方案 </p><p>　　該技術方案的核心是Cloudera大數(shù)據(jù)平臺。圖3是大數(shù)據(jù)平臺集群的架構示意

9、。針對本系統(tǒng)，采集/接口服務器、各系統(tǒng)的上層應用服務器均作為Cline存在；通過TCP/IP網(wǎng)絡與大數(shù)據(jù)平臺通信。大數(shù)據(jù)平臺采用1個NameNode和多個DataNode的部署方式，并用Sqoop方式作為數(shù)據(jù)接收接口。 </p><p>　　3.3.1 數(shù)據(jù)采集服務器 </p><p>　　數(shù)據(jù)采集服務器負責歷史數(shù)據(jù)采集，采用CentOS Linux操作系統(tǒng)，部署專用的采集及解析軟件，其工

10、作模式與傳統(tǒng)網(wǎng)管應用采集、解析、入庫的方式類似，區(qū)別在于傳統(tǒng)方式解析文件后寫入數(shù)據(jù)庫，而本系統(tǒng)完成文件解析后直接寫入Cloudera Hadoop中。 </p><p>　　3.3.2 大數(shù)據(jù)平臺 </p><p>　　（1） 軟件設計方案 </p><p>　　數(shù)據(jù)存儲采用HDFS保存解析后的原始數(shù)據(jù)文件；數(shù)據(jù)分析采用MapReduce作為分析工具；MapRedu

11、ce用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算，可以極大地方便編程人員將程序運行在分布式系統(tǒng)上。軟件實現(xiàn)可以指定一個Map函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce函數(shù)用來保證所有映射的鍵值對中每一個共享相同的鍵組。 </p><p>　?。?） 硬件設計方案 </p><p>　　大數(shù)據(jù)平臺存儲空間計算見表2。 </p><p>　　即保存到

12、大數(shù)據(jù)平臺的單文件大小為0.3MB，如需要保留9天的數(shù)據(jù)，如表2經(jīng)計算大數(shù)據(jù)平臺共需要3.2TB空間。 </p><p><b>　?。?） 部署方案 </b></p><p>　　依據(jù)上述情況，大數(shù)據(jù)平臺應共用x86服務器3臺，采用1+2方式部署，其中，1臺服務器作為NameNode，用于元數(shù)據(jù)管理，采用雙機互備方式保證NameNode的高可用性；2臺服務器組成Da

13、taNode集群，用于元數(shù)據(jù)存儲，元數(shù)據(jù)存儲采用標準的1+2方式。單服務器硬件配置為8核CPU，32GB內存、2TB硬盤。 </p><p>　　3.3.3 應用服務器 </p><p>　　應用服務器主要功能是針對匯總后的數(shù)據(jù)提供顯示功能。應用服務器可以采用Linux服務器+Apache Tomcat方式提供服務。其與Hadoop集群通信主要有如下內容：讀取匯總數(shù)據(jù)，將Hadoop處理后

14、的匯總數(shù)據(jù)讀出，用于上層應用的數(shù)據(jù)計算；讀取詳情數(shù)據(jù)，從Hadoop中直接讀取小時級別數(shù)據(jù)。 </p><p>　　3.3.4 各服務器推薦配置 </p><p>　　基于上述配置，各服務器最終配置見表3。 </p><p>　　3.3.5 擴展性 </p><p>　　按照以上配置，當整個大數(shù)據(jù)平臺確實由于資源不足導致應用系統(tǒng)受到影響時，大

15、數(shù)據(jù)平臺可以很容易地完成硬件擴容，即只要將新的服務器加入大數(shù)據(jù)平臺集群即可，新加入服務器的數(shù)據(jù)文件重分配工作會由大數(shù)據(jù)平臺自動完成。 　　4.功能實現(xiàn) </p><p>　　以上對某局級鐵路網(wǎng)管中心提出的需求做了較為全面的方案實現(xiàn)。從實現(xiàn)效果看，前期先解決了目前關心的問題，即通過大數(shù)據(jù)基礎平臺的建設，實現(xiàn)了業(yè)務數(shù)據(jù)的全面留存，為相關設備老化更換提供數(shù)據(jù)基礎；實現(xiàn)了業(yè)務數(shù)據(jù)的趨勢分析，為設備超預警提供預判基礎；為

16、數(shù)據(jù)多元化分析提供了平臺。完成的主要功能有： </p><p><b>　　4.1 數(shù)據(jù)管理 </b></p><p>　　對現(xiàn)有通訊系統(tǒng)中的某些端口實時業(yè)務數(shù)據(jù)進行抓取，并對其進行統(tǒng)計分析。包括數(shù)據(jù)采集和數(shù)據(jù)分析兩個子功能模塊。 </p><p><b>　　4.2 故障管理 </b></p><p&

17、gt;　　4.2.1 故障登記 </p><p>　　信息中心值班人員可在系統(tǒng)登記各類軟硬件故障記錄，系統(tǒng)將記錄登記人、登記時間等關聯(lián)信息。 </p><p>　　4.2.2 故障分析 </p><p>　　系統(tǒng)具有如下范圍內的故障統(tǒng)計分析功能： </p><p>　?。?）故障查詢。根據(jù)提供的查詢條件實時檢索故障明細，查詢故障具體情況； &

18、lt;/p><p>　　（2）故障數(shù)量統(tǒng)計。統(tǒng)計選定范圍內（時間范圍、選定站區(qū)）各類故障發(fā)生的次數(shù)； </p><p>　?。?）故障發(fā)生趨勢。提供某類設施或端口故障發(fā)生的趨勢，并提前預警。 </p><p>　?。?）運行監(jiān)測。光功率性能監(jiān)控系統(tǒng)監(jiān)測光纜線路中的光功率、駐波比、誤碼率等重要指標，并通過可視化技術，進行直觀、全面、便捷地查看，提供查看某設備中各項指標的歷

19、史變化曲線供業(yè)務人員分析。 </p><p><b>　　5.結束語 </b></p><p>　　本文針對我國鐵路通信網(wǎng)絡管理系統(tǒng)存在的問題，指出基于大數(shù)據(jù)平臺的鐵路通信網(wǎng)絡管理系統(tǒng)建設優(yōu)化設計的必要性，并提出了系統(tǒng)建設目標、架構方案。通過在某局級鐵路通信網(wǎng)絡管理系統(tǒng)實現(xiàn)，證明具有可行性和普遍參考價值。 </p><p><b>　

20、　參考文獻 </b></p><p>　　[1].陸紅群.鐵路通信網(wǎng)向下一代發(fā)展的思考[J]，鐵路通信信號，2012，9（4）：33-37 </p><p>　　[2].賈靖宇，付偉.鐵路通信綜合網(wǎng)管的提出及應用[J]，鐵道通信信號，2009，45（6）：45-47 </p><p>　　[3].王令朝.鐵路計算機通信網(wǎng)絡管理的認識和對策[J]，鐵道通信