基于頻繁項集的互補替代關系挖掘算法.pdf

1、20世紀80年代以來,隨著數(shù)據(jù)庫和信息技術的發(fā)展與廣泛應用,各個應用領域均累積了海量的數(shù)據(jù),且數(shù)據(jù)呈幾何級數(shù)增長。而存儲在大型數(shù)據(jù)庫中的海量數(shù)據(jù)包含了大量的、有利于決策者作出英明判斷的信息。但是由于缺乏強有力的數(shù)據(jù)分析工具,這些數(shù)據(jù)就變成了無人問津的“數(shù)據(jù)墳墓”。這樣,基于直覺和經(jīng)驗的決策者往往不能做出有利于應用領域的決定,使得這些包含有價值的數(shù)據(jù)無法發(fā)揮它們應有的決策指導作用。如何從海量數(shù)據(jù)集中提取出有利于商務決策的信息成為各個領域的

2、需求,在這種情況下,數(shù)據(jù)挖掘應運而生,從不同的角度以不同的形式為商務策略、科學等各領域提供依據(jù),推動了信息技術的迅猛發(fā)展。
　　 本文研究的兩項工作:
　　 首先,頻繁項集挖掘作為關聯(lián)規(guī)則產(chǎn)生的首要步驟,其挖掘效率的高低直接影響著關聯(lián)規(guī)則產(chǎn)生的總體效率。而數(shù)據(jù)集掃描次數(shù)和支持數(shù)計算效率一直是影響頻繁項集挖掘的主要因素。本文以shariq bashir提出的TOP-N閉頻繁項挖掘算法為基礎,利用位向量映射技術,提出了基于索

3、引的頻繁項集挖掘算法。該算法用位向量表示數(shù)據(jù)集,僅需一次掃描數(shù)據(jù)集。頻繁項集的挖掘過程采用集合枚舉樹的節(jié)點構(gòu)造過程來表示,在創(chuàng)建節(jié)點枚舉項的尾項支持數(shù)時,利用枚舉項集的位索引,計算枚舉項合并形成的新項集的支持數(shù),同時引入廣度擴展剪枝和區(qū)域索引跳過策略,從而快速地挖掘出頻繁項,有效地提高了算法的執(zhí)行效率;實驗結(jié)果表明,該算法在稀疏數(shù)據(jù)集上有很高的運行效率。
　　 其次,由于挖掘出的頻繁項集可能包含大量的用戶不感興趣的規(guī)則,同時如果

4、沒有進一步的分析或領域知識,頻繁項集并不能直接用于預測。如何消除頻繁項集中用戶不感興趣的頻繁項是頻繁項集用于指導實踐的瓶頸。所以,本文在基于索引的頻繁項集挖掘算法基礎上,本文又提出基于頻繁項集的互補替代關系挖掘算法。該算法通過對已挖掘出的各頻繁項集中的頻繁項進行相關性計算,挖掘出頻繁項之間的互補替代關系,去除噪聲數(shù)據(jù)的影響,以圖形的方式顯式地向決策者展示出各個頻繁項之間的互補(或替代)性,更便于決策者做出準確、合理的判斷。實驗表明,CA