分布式關(guān)聯(lián)規(guī)則挖掘算法的研究與應(yīng)用.pdf

1、近些年來(lái)信息技術(shù)飛速發(fā)展,特別是數(shù)據(jù)庫(kù)技術(shù)的更新?lián)Q代,各個(gè)領(lǐng)域的數(shù)據(jù)都出現(xiàn)了爆炸性增長(zhǎng)。與此形成鮮明對(duì)比的是,從數(shù)據(jù)中提煉出來(lái)的對(duì)人們決策有價(jià)值的知識(shí)卻十分匱乏。數(shù)據(jù)挖掘正是在這一背景下誕生的一門(mén)新學(xué)科。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域當(dāng)前研究的主要熱點(diǎn)之一,用于確定數(shù)據(jù)集中不同數(shù)據(jù)項(xiàng)或?qū)傩灾g的聯(lián)系,找出有價(jià)值的多個(gè)域之間的依賴關(guān)系。關(guān)聯(lián)規(guī)則挖掘具有計(jì)算量大,I／O負(fù)載集中的特點(diǎn),一方面,許多關(guān)聯(lián)規(guī)則的實(shí)際應(yīng)用涉及到海量數(shù)據(jù),即使對(duì)算法進(jìn)行

2、了優(yōu)化,在單處理機(jī)上使用串行算法進(jìn)行挖掘所需要的時(shí)間可能也是無(wú)法接受的；另一方面,在實(shí)際的應(yīng)用領(lǐng)域,業(yè)務(wù)數(shù)據(jù)存儲(chǔ)于多個(gè)地點(diǎn),各個(gè)站點(diǎn)之間需要共享全局規(guī)則模式,而且這些站點(diǎn)的數(shù)據(jù)有可能會(huì)發(fā)生一些動(dòng)態(tài)地增量變化,在這種情況下,必須依靠高性能分布式關(guān)聯(lián)規(guī)則挖掘來(lái)有效地完成挖掘任務(wù)。頻繁項(xiàng)集挖掘是生成關(guān)聯(lián)規(guī)則的關(guān)鍵步驟,其效率問(wèn)題是關(guān)聯(lián)規(guī)則挖掘中的一大難點(diǎn)和熱點(diǎn)。在前人研究的基礎(chǔ)上,論文基于分布式環(huán)境中的數(shù)據(jù)集,和所涉及到的算法數(shù)據(jù)結(jié)構(gòu),對(duì)全局

3、頻繁項(xiàng)集的挖掘問(wèn)題進(jìn)行了深入的分析和研究,從分布式環(huán)境挖掘中的剪枝策略、網(wǎng)絡(luò)通信策略和增量挖掘方法等角度著手,進(jìn)一步改進(jìn)了全局頻繁項(xiàng)集的挖掘算法,文章的最后還例舉了算法的應(yīng)用。概括一下本文工作,主要包括以下幾個(gè)方面:
　　 (1)提出一種基于頻繁模式樹(shù)與最大頻繁項(xiàng)集的分布式全局頻繁項(xiàng)集挖掘算法BFM-MGFIS。該算法引入子集枚舉樹(shù)以實(shí)現(xiàn)有序挖掘與優(yōu)化全局剪枝策略,有效地減小了候選項(xiàng)集且提高了并行性,最后,通過(guò)實(shí)驗(yàn)證明提出的算法

4、是有效可行的。
　　 (2)討論數(shù)據(jù)更新情況下規(guī)則模式的維護(hù)與更新,提出一種增量式的分布式全局頻繁項(xiàng)集挖掘算法,該算法基于CanTree前綴樹(shù),使得頻繁模式不再依賴于頻繁1項(xiàng)目集序列,而是由用戶指定的某一序列,據(jù)此對(duì)數(shù)據(jù)項(xiàng)進(jìn)行排序,這樣數(shù)據(jù)項(xiàng)的排序與更新無(wú)關(guān),且樹(shù)中保留了數(shù)據(jù)庫(kù)的所有信息,仿真實(shí)驗(yàn)證明提出的方法是有效可行的。
　　 (3)圍繞提出的兩種算法實(shí)現(xiàn)了分布式關(guān)聯(lián)規(guī)則挖掘模擬系統(tǒng),將兩種算法應(yīng)用于實(shí)際的生物學(xué)數(shù)據(jù)