基于Hadoop的海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法研究.pdf

1、近年來(lái)，隨著高速動(dòng)車組在我國(guó)的快速發(fā)展，目前已經(jīng)積累了海量的歷史維護(hù)、故障數(shù)據(jù)，如何利用好數(shù)據(jù)挖掘技術(shù)從歷史維護(hù)故障數(shù)據(jù)中挖掘出有效的知識(shí)，并且為動(dòng)車組故障診斷和維護(hù)維修提供有效的決策支持，成為一個(gè)亟待解決的應(yīng)用需求。針對(duì)動(dòng)車組歷史維護(hù)故障數(shù)據(jù)的知識(shí)挖掘問(wèn)題，從有效利用動(dòng)車組歷史運(yùn)維數(shù)據(jù)來(lái)指導(dǎo)動(dòng)車組故障診斷的角度出發(fā)，對(duì)海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法進(jìn)行了深入研究。
　　由于傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法在處理海量、多維數(shù)據(jù)集時(shí)，在數(shù)據(jù)挖掘

2、性能上會(huì)遇到瓶頸，因此本文選取Hadoop技術(shù)作為對(duì)頻繁模式增長(zhǎng)(Frequent PatternGrowth，F(xiàn)P-Growth)算法和Apriori算法進(jìn)行并行化改進(jìn)的基本技術(shù)。Hadoop是一個(gè)開源的分布式計(jì)算平臺(tái)，其核心組成部分是Hadoop分布式文件系統(tǒng)(HadoopDistributed File System，HDFS)和MapReduce并行編程框架，用戶可以在不了解Hadoop內(nèi)部架構(gòu)的情況下，方便地開發(fā)分布式程序。<

3、br>　　本文深入研究了現(xiàn)有關(guān)聯(lián)規(guī)則挖掘算法的實(shí)現(xiàn)形式和不足，結(jié)合動(dòng)車組故障診斷的要求，選取FP-Growth算法和Apriori算法作為動(dòng)車組海量歷史故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的基本算法。首先提出了利用局部頻繁模式樹來(lái)代替全局頻繁模式樹的改進(jìn)的并行FP-Growth算法，該算法在各主要步驟上均實(shí)現(xiàn)了并行處理，并且對(duì)頻繁模式的搜索策略進(jìn)行了改進(jìn)。其次，提出了一種改進(jìn)的并行Apriori多維關(guān)聯(lián)規(guī)則挖掘算法，該算法采用迭代的思想，實(shí)現(xiàn)了對(duì)各階候

4、選項(xiàng)集挖掘的并行化處理。改進(jìn)后的算法大大提高了關(guān)聯(lián)規(guī)則挖掘的效率，有效地節(jié)省了計(jì)算空間，挖掘結(jié)果很好地保留了故障信息與狀態(tài)信息之間的關(guān)聯(lián)關(guān)系，并且合理去除了無(wú)效規(guī)則。
　　本文將改進(jìn)的關(guān)聯(lián)規(guī)則挖掘算法應(yīng)用于動(dòng)車組歷史運(yùn)維數(shù)據(jù)關(guān)聯(lián)規(guī)則知識(shí)獲取中去，并相應(yīng)設(shè)計(jì)實(shí)現(xiàn)了動(dòng)車組運(yùn)維數(shù)據(jù)處理平臺(tái)原型系統(tǒng)，包括用戶認(rèn)證模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)挖掘模塊和用戶文件管理模塊等。通過(guò)對(duì)改進(jìn)算法的具體分析與實(shí)際測(cè)試，表明本文提出的兩個(gè)改進(jìn)的并行算法在動(dòng)車