并行關(guān)聯(lián)規(guī)則算法優(yōu)化的研究.pdf

1、隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多，如何充分利用這些數(shù)據(jù)信息并為企業(yè)決策者提供決策支持成為一個(gè)十分迫切又棘手的問題，數(shù)據(jù)挖掘就是為了滿足這種要求而迅速發(fā)展起來的。數(shù)據(jù)挖掘是幫助人們在海量數(shù)據(jù)中發(fā)現(xiàn)信息和知識的工具，近年來數(shù)據(jù)挖掘技術(shù)成了商業(yè)智能的核心技術(shù)，被廣泛應(yīng)用到了諸多領(lǐng)域，引起了學(xué)術(shù)界極大的關(guān)注，如何提高數(shù)據(jù)挖掘的效率成為學(xué)術(shù)界熱門的研究課題，而關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)是數(shù)據(jù)挖掘中最成功和最重要的一

2、項(xiàng)任務(wù)，也是當(dāng)今數(shù)據(jù)挖掘中一個(gè)非常活躍的研究領(lǐng)域，其中最著名的挖掘關(guān)聯(lián)規(guī)則算法就是Apriori算法。
　　論文對數(shù)據(jù)挖掘和關(guān)聯(lián)規(guī)則的主要概念和發(fā)展?fàn)顩r作了綜述，給出了挖掘關(guān)聯(lián)規(guī)則問題的正式的描述，對典型的串行關(guān)聯(lián)規(guī)則算法和并行關(guān)聯(lián)規(guī)則算法作了較深入的分析，并且介紹了這些算法的思想及其各自的優(yōu)缺點(diǎn)；針對CD算法所存在的多次掃描和冗余存儲等問題進(jìn)行改進(jìn)。
　　CD算法的目標(biāo)是減少通信量獲得較好的任務(wù)分布性，使各處理器只對本地?cái)?shù)

3、據(jù)并行地進(jìn)行處理，但算法的I/O量較重，數(shù)據(jù)結(jié)構(gòu)重復(fù)，沒有有效利用整個(gè)內(nèi)存。因此論文在CD算法的基礎(chǔ)上提出了改進(jìn)的算法NCD：通過對參與候選集的元素計(jì)數(shù)的方法來減少產(chǎn)生候選集的組合和數(shù)據(jù)庫的掃描次數(shù)以達(dá)到要求。這種方法是利用多個(gè)處理器的并行計(jì)算得到候選集S'，由于候選集無法保證是超集，有可能報(bào)告失效，這時(shí)還須掃描數(shù)據(jù)一遍或多遍，直到不再報(bào)告失效為止。這種算法讓各處理器在不知道其他處理器的任何信息的情況下獨(dú)立地計(jì)算局部大項(xiàng)集，直到所有的處