關(guān)聯(lián)規(guī)則算法在鐵路鋼軌質(zhì)量分析評價系統(tǒng)中的應(yīng)用研究.pdf

1、隨著各行各業(yè)計算機(jī)信息化水平的提高，數(shù)據(jù)挖掘技術(shù)逐漸被廣泛應(yīng)用。由于數(shù)據(jù)信息的飛速增長，原有的數(shù)據(jù)挖掘方法已經(jīng)很難滿足業(yè)務(wù)的需求。傳統(tǒng)的串行算法存在挖掘速率低，面對海量數(shù)據(jù)挖掘時不能及時快速響應(yīng)的缺點。在數(shù)據(jù)規(guī)模不斷增長的同時，我們所面對和掌握的數(shù)據(jù)結(jié)構(gòu)越來越復(fù)雜且數(shù)據(jù)的維度也越來越高。面對這些快速增長的數(shù)據(jù)，傳統(tǒng)的頻繁項集挖掘算法需要不斷的掃描數(shù)據(jù)庫，因此會增加算法的時間復(fù)雜度和相應(yīng)的執(zhí)行效率，并行數(shù)據(jù)挖掘正是在這樣的背景下出現(xiàn)。

2、r>　　關(guān)聯(lián)規(guī)則算法作為數(shù)據(jù)挖掘中的一個重要的分支，其能夠從數(shù)據(jù)對象集合中挖掘具有關(guān)聯(lián)關(guān)系的數(shù)據(jù)項集，因此關(guān)聯(lián)規(guī)則算法在各行業(yè)當(dāng)中都具有廣泛的應(yīng)用。近年來，云計算平臺Hadoop引起了越來越多研究者的關(guān)注，將傳統(tǒng)的頻繁項集挖掘相關(guān)算法進(jìn)行并行化實現(xiàn)是一個重要的研究方向。在頻繁項集挖掘過程中存在兩個瓶頸，循環(huán)迭代次數(shù)過多和I/O負(fù)載過大的問題。而Hadoop平臺繼承了云計算的諸多優(yōu)點，為大數(shù)據(jù)的分布式存儲和并行計算提供了有效的策略，具有可

3、用性高、成本低廉的特性，因此，用Hadoop可以緩解相應(yīng)的壓力。
　　盡管近年來國內(nèi)外對基于關(guān)聯(lián)規(guī)則的并行算法進(jìn)行了深入廣泛的研究，但是傳統(tǒng)的Apriori算法依然存在掃描數(shù)據(jù)時會循環(huán)迭代掃描數(shù)據(jù)的問題，使得篩選候選集合的過程中存在性能優(yōu)化問題。本文通過對MapReduce計算模型的工作原理、運行機(jī)制和容錯機(jī)制進(jìn)行研究學(xué)習(xí)，并結(jié)合關(guān)聯(lián)規(guī)則生成算法的特點，改進(jìn)了傳統(tǒng)的并行算法并提出了基于MapReduce的關(guān)聯(lián)規(guī)則算法的并行優(yōu)化方案