高頻繁度低效用模式挖掘算法及其在云計(jì)算下的實(shí)現(xiàn)研究.pdf

1、模式挖掘是數(shù)據(jù)挖掘技術(shù)中的一個重要的研究方向。對于傳統(tǒng)的頻繁模式挖掘和高效用模式挖掘，它們只能分別用來挖掘頻繁模式和高效用模式。在許多實(shí)際應(yīng)用場景下，這些傳統(tǒng)的單純的頻繁模式挖掘和效用模式挖掘模型的范疇會比較狹窄，不能滿足實(shí)際應(yīng)用中的多樣化分析需求，人們往往對頻繁度和效用值都感興趣，不單單只是頻繁度或者效用值。為了解決這個問題，本文提出同時考慮支持度和效用值，進(jìn)而挖掘更有價(jià)值的模式，其中一種就是高頻繁度低效用模式，并提出了一個新穎的算法

2、HFLUP(High Frequency and Low Utility Patterns Mining Algorithm)。
　　挖掘高頻繁度低效用模式的最簡單直接的方法就是分為兩階段來挖掘，首先利用頻繁模式挖掘算法來挖掘出所有的高頻繁度模式，然后再從這些高頻繁度模式中找出效用值低于用戶指定的最大效用閾值的模式，即最終得到高頻繁度低效用模式。但是這種兩階段的挖掘方式會產(chǎn)生大量的候選集，且需多次遍歷數(shù)據(jù)庫，磁盤I/O開銷大，挖掘

3、效率低。因此，為了避免這些問題，本文提出的高頻繁度低效用模式挖掘算法HFLUP是一個不產(chǎn)生候選集的單階段算法，并且只需要遍歷數(shù)據(jù)庫兩次。本文還提出了一個新的數(shù)據(jù)結(jié)構(gòu)，叫做FUL，用來存儲模式的效用信息以及裁剪搜索空間的信息，通過FULs，算法可以高效地直接挖掘出高頻繁度低效用模式且無需產(chǎn)生候選模式。為了減小搜索空間，提高挖掘效率，提出了有效的且規(guī)?？煽氐男в孟陆绮眉舨呗砸约巴ㄟ^lookahead策略預(yù)先確定高頻繁度低效用模式而無需遞歸枚

4、舉。大量實(shí)驗(yàn)表明:所提出的兩個裁剪策略是有效且高效的，HFLUP算法在運(yùn)行時間和內(nèi)存消耗上大大優(yōu)于兩階段的高頻繁度低效用模式挖掘方法。
　　本文的第二項(xiàng)工作是將所提出的算法并行化，以適應(yīng)海量大數(shù)據(jù)處理的要求，以克服單機(jī)的物理內(nèi)存局限所造成單機(jī)挖掘的低效率。本文采用云計(jì)算模式下的基于內(nèi)存的分布式計(jì)算框架Spark來實(shí)現(xiàn)算法的并行化，提出了基于Spark的并行高頻繁度低效用模式挖掘算法PHFLUPS(Parallel High Fre