并行FP-growth關(guān)聯(lián)規(guī)則算法研究.pdf

1、關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域中一種基本且重要的模型，其中頻繁模式增長算法（FP-growth算法）是關(guān)聯(lián)規(guī)則里的經(jīng)典算法，但隨著所需處理的數(shù)據(jù)集越來越大，F(xiàn)P-growth算法的挖掘效率變得低下，甚至不能在內(nèi)存中構(gòu)建一棵全局的FP-tree，因此，并行的FP-growth算法就相繼被提出。但傳統(tǒng)的FP-growth并行算法并沒有考慮各個(gè)計(jì)算子節(jié)點(diǎn)的負(fù)載均衡問題，以及節(jié)點(diǎn)間通信消耗的問題。
　　關(guān)聯(lián)規(guī)則挖掘在企業(yè)財(cái)務(wù)管理中也有很好的應(yīng)用，

2、隨著企業(yè)規(guī)模的不斷壯大，企業(yè)財(cái)務(wù)管理變得尤為重要。其中，企業(yè)財(cái)務(wù)風(fēng)險(xiǎn)分析是企業(yè)財(cái)務(wù)管理中的重要一環(huán)，目前已有的企業(yè)財(cái)務(wù)風(fēng)險(xiǎn)分析方法主要是從定性與定量兩個(gè)角度考慮，但是都有其不足，而且定量財(cái)務(wù)風(fēng)險(xiǎn)分析所采用的Apriori算法也不能很好地應(yīng)對海量財(cái)務(wù)數(shù)據(jù)所帶來的挑戰(zhàn)。針對上述問題，論文的主要工作如下：
　　（1）針對頻繁1-項(xiàng)集F-list分組投影時(shí)會造成計(jì)算子節(jié)點(diǎn)間負(fù)載不均衡以及節(jié)點(diǎn)間存在大量通信傳輸?shù)膯栴}，論文提出了兩種優(yōu)化并行

3、算法：
　　1、基于貪心策略的負(fù)載優(yōu)化算法（GFP），該算法用于數(shù)據(jù)水平投影過程中，它利用貪心策略對F-list中的項(xiàng)進(jìn)行分組，每次根據(jù)局部負(fù)載量最優(yōu)策略進(jìn)行劃分，最終使得各個(gè)計(jì)算子節(jié)點(diǎn)具有相似的負(fù)載量。實(shí)驗(yàn)表明，GFP比傳統(tǒng)的Hash分組方法能更好地實(shí)現(xiàn)負(fù)載均衡。
　　2、基于通信量優(yōu)化的FP-growth并行算法（TFP），GFP算法雖然可以解決負(fù)載均衡問題，但當(dāng)某個(gè)頻繁項(xiàng)目的最大的條件模式基被投影到其他節(jié)點(diǎn)上時(shí)，會出現(xiàn)

4、大量的數(shù)據(jù)傳輸，導(dǎo)致節(jié)點(diǎn)之間的通信量增大。為了解決這一問題，TFP算法在為每個(gè)頻繁項(xiàng)目分組時(shí)，優(yōu)先考慮將其分到需要最小通信量的節(jié)點(diǎn)上去。實(shí)驗(yàn)表明，TFP算法滿足節(jié)點(diǎn)負(fù)載均衡的同時(shí)，也保證了節(jié)點(diǎn)之間具有較小的通信量，從而比傳統(tǒng)的FP-growth并行算法效率更高。
　　（2）針對企業(yè)財(cái)務(wù)風(fēng)險(xiǎn)定量分析中存在的不足，論文采用并行FP-growth優(yōu)化算法TFP替代Apriori算法，使得財(cái)務(wù)風(fēng)險(xiǎn)分析系統(tǒng)具有處理大規(guī)模數(shù)據(jù)集的能力，從而降