關(guān)聯(lián)規(guī)則挖掘在分類(lèi)數(shù)據(jù)領(lǐng)域的擴(kuò)展性研究.pdf

1、隨著計(jì)算機(jī)技術(shù)在社會(huì)各個(gè)領(lǐng)域的廣泛應(yīng)用，人們對(duì)信息系統(tǒng)的依賴(lài)程度越來(lái)越高。面對(duì)數(shù)據(jù)豐富而信息匱乏的困境，在統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)技術(shù)、機(jī)器學(xué)習(xí)、人工智能、模式識(shí)別和可視化技術(shù)等相關(guān)領(lǐng)域發(fā)展的基礎(chǔ)上，以發(fā)現(xiàn)有用知識(shí)為目的的新興交叉學(xué)科-數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。
　　關(guān)聯(lián)規(guī)則挖掘作為數(shù)據(jù)挖掘領(lǐng)域重要的研究方向之一，由于其在零售交易分析、客戶關(guān)系管理、網(wǎng)絡(luò)入侵檢測(cè)、設(shè)備故障診斷、天文光譜分析、蛋白質(zhì)結(jié)構(gòu)分析和軟件缺陷發(fā)現(xiàn)等應(yīng)用領(lǐng)域的廣泛適用性和特

2、有價(jià)值，盡管歷經(jīng)二十多年的發(fā)展，仍然備受企業(yè)和學(xué)術(shù)界的高度關(guān)注，且正在向著新興的研究領(lǐng)域擴(kuò)展。
　　本文通過(guò)對(duì)關(guān)聯(lián)規(guī)則發(fā)展現(xiàn)狀的系統(tǒng)性研究，選擇了分類(lèi)數(shù)據(jù)(Taxonomy)這一特殊領(lǐng)域作為擴(kuò)展研究對(duì)象。這是因?yàn)榉诸?lèi)數(shù)據(jù)作為一種結(jié)構(gòu)化的數(shù)據(jù)不僅普遍存在，而且基于分類(lèi)數(shù)據(jù)挖掘產(chǎn)生的關(guān)聯(lián)規(guī)則蘊(yùn)含更豐富、更靈活、更具參考價(jià)值的信息，因此該領(lǐng)域的擴(kuò)展性研究對(duì)于實(shí)際應(yīng)用和學(xué)術(shù)理論都具有非常特殊且重要的意義。
　　本文的主要研究?jī)?nèi)容如下

3、：
　　首先，本文研究了分類(lèi)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的特殊情形--多層關(guān)聯(lián)規(guī)則挖掘問(wèn)題，這是基于分類(lèi)數(shù)據(jù)擴(kuò)展性研究的基礎(chǔ)。本文根據(jù)挖掘遍歷策略的不同，提出了兩種新穎高效的多層關(guān)聯(lián)規(guī)則挖掘方法TD-CBP-MLARM和BU-CBP-MLARM。其基本思想在于，首先利用分類(lèi)數(shù)據(jù)所屬領(lǐng)域的先驗(yàn)知識(shí)對(duì)通用的相關(guān)性度量函數(shù)進(jìn)行有效修正，使之更加適合于分類(lèi)數(shù)據(jù)項(xiàng)之間相關(guān)性的度量；然后基于修正后的相關(guān)性函數(shù)對(duì)分類(lèi)數(shù)據(jù)各層次上的項(xiàng)依次進(jìn)行聚類(lèi)，根據(jù)各層項(xiàng)

4、的層次聚類(lèi)結(jié)果對(duì)事務(wù)數(shù)據(jù)庫(kù)進(jìn)行約簡(jiǎn)劃分，從而縮小了事務(wù)數(shù)據(jù)庫(kù)的規(guī)模，節(jié)省了挖掘算法掃描事務(wù)數(shù)據(jù)庫(kù)的I/O操作時(shí)間，達(dá)到了提高算法挖掘效率的目的。
　　其次，本文針對(duì)多層關(guān)聯(lián)規(guī)則挖掘的一般情形--概化關(guān)聯(lián)規(guī)則挖掘問(wèn)題進(jìn)行了研究。本文首先基于有候選項(xiàng)集方法的思想，提出了一種基于集合枚舉樹(shù)的概化頻繁項(xiàng)集寬度優(yōu)先挖掘方法SET-BFS。該方法可以確保所有k-項(xiàng)集產(chǎn)生之前，其所有的(k-1)-子項(xiàng)集已經(jīng)產(chǎn)生，進(jìn)而可以確保Apriori性質(zhì)在

5、分類(lèi)數(shù)據(jù)領(lǐng)域的有效運(yùn)用，實(shí)現(xiàn)對(duì)非頻繁項(xiàng)集的高效剪枝，不僅避免了大量非頻繁項(xiàng)集的計(jì)數(shù)和判定操作，還減少項(xiàng)集擴(kuò)展空間的規(guī)模，從而提升此類(lèi)算法的執(zhí)行效率。進(jìn)而結(jié)合最新的無(wú)候選項(xiàng)集方法的思想，提出了一種高效的概化關(guān)聯(lián)規(guī)則挖掘方法GEAOT-tax。該方法引入了一種新穎的擴(kuò)展升序前綴樹(shù)GEAOT，采用自上而下、深度優(yōu)先的遍歷策略，結(jié)合雙頭表輔助結(jié)構(gòu)以及合并、剪枝等一系列優(yōu)化操作，進(jìn)一步減少了算法的遍歷開(kāi)銷(xiāo)，從而提升了算法整體效率。
　　最后

6、，本文將研究視角從靜態(tài)分類(lèi)數(shù)據(jù)進(jìn)一步擴(kuò)展至動(dòng)態(tài)變化環(huán)境下，對(duì)概化關(guān)聯(lián)規(guī)則更新保持問(wèn)題進(jìn)行了研究，并提出了一種基于概化擴(kuò)展自然序樹(shù)的增量挖掘方法GECT-IM。該方法只需掃描一次原始分類(lèi)事務(wù)數(shù)據(jù)庫(kù)，就可以將所有交易中的葉子項(xiàng)及其概化項(xiàng)映射至一棵壓縮格式的自然序前綴樹(shù)GECT，并通過(guò)引入更新頭表來(lái)實(shí)現(xiàn)只對(duì)GECT中更新項(xiàng)集計(jì)數(shù)，然后結(jié)合相關(guān)性質(zhì)及運(yùn)算就能發(fā)現(xiàn)大部分更新后的頻繁項(xiàng)集，而只對(duì)部分原來(lái)非頻繁的項(xiàng)集才需重新遍歷初始GECI、樹(shù)來(lái)得到