頻繁項(xiàng)集快速挖掘算法研究及應(yīng)用.pdf

1、太原理工大學(xué)碩士學(xué)位論文I頻繁項(xiàng)集快速挖掘算法研究及應(yīng)用摘要隨著信息技術(shù)的發(fā)展，數(shù)據(jù)呈指數(shù)型增長，傳統(tǒng)數(shù)據(jù)挖掘算法對大規(guī)模數(shù)據(jù)的處理和應(yīng)用存在挖掘效率低，難以實(shí)現(xiàn)有效應(yīng)用等不足。數(shù)據(jù)的產(chǎn)生、收集、存儲和分析等都需要大數(shù)據(jù)技術(shù)的支持，因此如何將傳統(tǒng)數(shù)據(jù)挖掘算法與大數(shù)據(jù)技術(shù)有效結(jié)合成為當(dāng)前的研究熱點(diǎn)。現(xiàn)有頻繁項(xiàng)集挖掘算法在處理大數(shù)據(jù)時，存在運(yùn)行時間過長、內(nèi)存溢出等缺點(diǎn)，故將其與大數(shù)據(jù)技術(shù)有效結(jié)合，有助于進(jìn)一步實(shí)現(xiàn)大數(shù)據(jù)產(chǎn)業(yè)化應(yīng)用。一方面，大

2、數(shù)據(jù)技術(shù)使數(shù)據(jù)分析、處理速度加快，提高了算法運(yùn)行效率；另一方面，通過分析數(shù)據(jù)的隱含價值，進(jìn)行應(yīng)用研究，為生產(chǎn)生活提供便利。本文基于頻繁項(xiàng)集挖掘算法和大數(shù)據(jù)技術(shù)，探索效率更高的算法，并將本文算法應(yīng)用于現(xiàn)實(shí)中。具體而言，本文主要完成了以下三方面的研究：(1)Eclat算法改進(jìn)研究深入分析Eclat算法，結(jié)合頻繁項(xiàng)集自身性質(zhì)，從候選集優(yōu)化和剪枝兩方面優(yōu)化算法。通過篩選候選集，剔除非候選集，減少交集運(yùn)算的次數(shù)，提出了改進(jìn)算法——Eclat’算法