關(guān)聯(lián)規(guī)則算法在鐵路鋼軌質(zhì)量分析評(píng)價(jià)系統(tǒng)中的應(yīng)用研究.pdf

1、隨著各行各業(yè)計(jì)算機(jī)信息化水平的提高，數(shù)據(jù)挖掘技術(shù)逐漸被廣泛應(yīng)用。由于數(shù)據(jù)信息的飛速增長(zhǎng)，原有的數(shù)據(jù)挖掘方法已經(jīng)很難滿足業(yè)務(wù)的需求。傳統(tǒng)的串行算法存在挖掘速率低，面對(duì)海量數(shù)據(jù)挖掘時(shí)不能及時(shí)快速響應(yīng)的缺點(diǎn)。在數(shù)據(jù)規(guī)模不斷增長(zhǎng)的同時(shí)，我們所面對(duì)和掌握的數(shù)據(jù)結(jié)構(gòu)越來(lái)越復(fù)雜且數(shù)據(jù)的維度也越來(lái)越高。面對(duì)這些快速增長(zhǎng)的數(shù)據(jù)，傳統(tǒng)的頻繁項(xiàng)集挖掘算法需要不斷的掃描數(shù)據(jù)庫(kù)，因此會(huì)增加算法的時(shí)間復(fù)雜度和相應(yīng)的執(zhí)行效率，并行數(shù)據(jù)挖掘正是在這樣的背景下出現(xiàn)。

2、r>　　關(guān)聯(lián)規(guī)則算法作為數(shù)據(jù)挖掘中的一個(gè)重要的分支，其能夠從數(shù)據(jù)對(duì)象集合中挖掘具有關(guān)聯(lián)關(guān)系的數(shù)據(jù)項(xiàng)集，因此關(guān)聯(lián)規(guī)則算法在各行業(yè)當(dāng)中都具有廣泛的應(yīng)用。近年來(lái)，云計(jì)算平臺(tái)Hadoop引起了越來(lái)越多研究者的關(guān)注，將傳統(tǒng)的頻繁項(xiàng)集挖掘相關(guān)算法進(jìn)行并行化實(shí)現(xiàn)是一個(gè)重要的研究方向。在頻繁項(xiàng)集挖掘過(guò)程中存在兩個(gè)瓶頸，循環(huán)迭代次數(shù)過(guò)多和I/O負(fù)載過(guò)大的問(wèn)題。而Hadoop平臺(tái)繼承了云計(jì)算的諸多優(yōu)點(diǎn)，為大數(shù)據(jù)的分布式存儲(chǔ)和并行計(jì)算提供了有效的策略，具有可

3、用性高、成本低廉的特性，因此，用Hadoop可以緩解相應(yīng)的壓力。
　　盡管近年來(lái)國(guó)內(nèi)外對(duì)基于關(guān)聯(lián)規(guī)則的并行算法進(jìn)行了深入廣泛的研究，但是傳統(tǒng)的Apriori算法依然存在掃描數(shù)據(jù)時(shí)會(huì)循環(huán)迭代掃描數(shù)據(jù)的問(wèn)題，使得篩選候選集合的過(guò)程中存在性能優(yōu)化問(wèn)題。本文通過(guò)對(duì)MapReduce計(jì)算模型的工作原理、運(yùn)行機(jī)制和容錯(cuò)機(jī)制進(jìn)行研究學(xué)習(xí)，并結(jié)合關(guān)聯(lián)規(guī)則生成算法的特點(diǎn)，改進(jìn)了傳統(tǒng)的并行算法并提出了基于MapReduce的關(guān)聯(lián)規(guī)則算法的并行優(yōu)化方案