基于Hadoop技術(shù)的軌道交通MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)應(yīng)用研究.pdf

1、隨著城市軌道交通事業(yè)飛速發(fā)展，軌道交通安全倍受關(guān)注，這必然會(huì)對(duì)維護(hù)管理提出更高的要求。維護(hù)支持系統(tǒng)應(yīng)運(yùn)而生，成為研究和應(yīng)用的熱點(diǎn)。在維護(hù)管理的過程中，實(shí)時(shí)監(jiān)測的信號(hào)系統(tǒng)數(shù)據(jù)量與日俱增，遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的數(shù)據(jù)庫存儲(chǔ)范疇，常規(guī)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方法遇到了瓶頸。云計(jì)算Hadoop作為一種新興計(jì)算模型，具有超大規(guī)模，高可擴(kuò)展和高可靠性等特點(diǎn)，為上述問題的解決提供了新的思路。
　　本文首先在緒論中闡述了軌道交通MSS維護(hù)支持系統(tǒng)的重要性，以及

2、其與大數(shù)據(jù)結(jié)合會(huì)帶來很多增值服務(wù)。其次對(duì)MSS維護(hù)支持系統(tǒng)、數(shù)據(jù)存儲(chǔ)技術(shù)和Hadoop的研究現(xiàn)狀進(jìn)行了詳細(xì)的歸納、總結(jié)。通過介紹MSS系統(tǒng)，分析該系統(tǒng)數(shù)據(jù)特點(diǎn)、結(jié)構(gòu)，并且對(duì)比分析傳統(tǒng)軟件與Hadoop技術(shù)優(yōu)缺點(diǎn)，進(jìn)一步明確了維護(hù)支持系統(tǒng)在數(shù)據(jù)存儲(chǔ)和查詢方面遇到的困擾，從而確定將Hadoop技術(shù)應(yīng)用到MSS系統(tǒng)中用于可靠存儲(chǔ)、高效查詢和數(shù)據(jù)挖掘分析。
　　針對(duì)MSS系統(tǒng)不同的數(shù)據(jù)類型，結(jié)合Hadoop集群技術(shù)以及實(shí)際軟硬件實(shí)力，本文

3、提出一種基于Hadoop技術(shù)的MSS數(shù)據(jù)存儲(chǔ)設(shè)計(jì)。文章先后從存儲(chǔ)整體架構(gòu)，HDFS文件存儲(chǔ)系統(tǒng)，HBase分布式數(shù)據(jù)庫等幾個(gè)方面對(duì)MSS結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)進(jìn)行深入研究。首先利用日志收集系統(tǒng)Flume對(duì)數(shù)據(jù)進(jìn)行傳輸，總結(jié)了MSS數(shù)據(jù)在HDFS中的存儲(chǔ)方式。其次，設(shè)計(jì)基于HDFS的維護(hù)數(shù)據(jù)存儲(chǔ)模塊，舉例說明數(shù)據(jù)在HDFS中是如何讀取和寫入的，最后實(shí)現(xiàn)了數(shù)據(jù)存入HDFS系統(tǒng)中。根據(jù)MSS數(shù)據(jù)特點(diǎn)，本文又設(shè)計(jì)了MSS數(shù)據(jù)基元的HBase的存儲(chǔ)模型，

4、以具體ZC數(shù)據(jù)為例，建立HBase數(shù)據(jù)邏輯模型和物理模型，并且實(shí)現(xiàn)了數(shù)據(jù)寫入HBase數(shù)據(jù)庫中。
　　在理論基礎(chǔ)上，模擬搭建完全分布模式的Hadoop平臺(tái)環(huán)境，包括硬件環(huán)境和軟件環(huán)境。對(duì)系統(tǒng)性能進(jìn)行分析以及測試Hadoop集群存儲(chǔ)性能，說明Hadoop技術(shù)應(yīng)用到軌道交通MSS系統(tǒng)中是可行的，在數(shù)據(jù)存儲(chǔ)方面比傳統(tǒng)方式占優(yōu)勢，并且數(shù)據(jù)量越大，Hadoop優(yōu)勢越能體現(xiàn)出來。
　　最后，對(duì)論文工作進(jìn)行總結(jié)，闡述了該論文的創(chuàng)新點(diǎn)以及文