大數(shù)據(jù)環(huán)境下動車組故障關(guān)聯(lián)關(guān)系分析關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、隨著動車組的高速發(fā)展和大規(guī)模的使用，動車組已經(jīng)成為了鐵路客運和貨運的重要工具，具有高效、安全、快速、高標(biāo)準(zhǔn)的服務(wù)功能，在交通中起到的重要作用也易于凸顯。我國高速鐵路經(jīng)過十多年的運營，積累了大量的故障數(shù)據(jù)，且每天都在收到新的數(shù)據(jù)，如何從中挖掘出有效的信息和知識，為動車組運行安全、故障診斷和維修等工作提供決策支持，具有重大意義。近年來，高速動車組技術(shù)飛速發(fā)展，數(shù)據(jù)累積呈現(xiàn)出指數(shù)級的增長趨勢，傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法很難滿足需求?；诖?，本文將

2、關(guān)聯(lián)規(guī)則挖掘算法Eclat算法與目前流行的云計算平臺MapReduce結(jié)合，把海量的動車組故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘任務(wù)分解到集群中的多臺計算機上并行處理，提高了關(guān)聯(lián)規(guī)則挖掘的效率。
　　通常數(shù)據(jù)庫有水平數(shù)據(jù)表示和垂直數(shù)據(jù)表示兩種形式，常見的關(guān)聯(lián)規(guī)則算法Apriori算法和FP-Growth算法都是基于水平數(shù)據(jù)表示的。Eclat算法是首個采用垂直數(shù)據(jù)表示的關(guān)聯(lián)挖掘算法。Eclat算法在項集規(guī)模龐大時，交集操作消耗大量時間和系統(tǒng)內(nèi)存。本文

3、首先對Eclat算法進行了深入的研究和分析，針對Eclat算法在挖掘海量數(shù)據(jù)中的頻繁項目集時存在的內(nèi)存和計算資源不足等問題，提出基于MapReduce的改進算法，并應(yīng)用于動車組故障關(guān)聯(lián)規(guī)則挖掘，相對于傳統(tǒng)挖掘算法，效率有顯著提升。
　　本論文最后還針對動車組故障等級劃分，故障數(shù)據(jù)重要性不一致提出了加權(quán)的關(guān)聯(lián)規(guī)則挖掘算法，剔除挖掘結(jié)果中沒有意義的關(guān)聯(lián)規(guī)則，優(yōu)先挖掘出包含高等級故障的規(guī)則，符合現(xiàn)實要求，對動車組故障檢測和預(yù)防，故障的快