面向不平衡數(shù)據(jù)集的對(duì)比模式挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是指數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，在信息技術(shù)發(fā)展的過程中扮演著越來越重要的角色。對(duì)比模式(Contrast Patterns)挖掘作為數(shù)據(jù)挖掘領(lǐng)域里的一個(gè)核心內(nèi)容，其為分類、聚類、關(guān)聯(lián)規(guī)則等任務(wù)奠定了基礎(chǔ)。對(duì)比模式是指在兩個(gè)數(shù)據(jù)集中，支持度發(fā)生很大變化的項(xiàng)集，它表現(xiàn)出一種強(qiáng)大的數(shù)據(jù)區(qū)分能力，利用這種區(qū)分特性構(gòu)建的模式分類器往往比一些樸素的分類器有更好的分類效果。然而，目前大多數(shù)基于對(duì)比模式的挖掘算法都是建立在這樣兩個(gè)假設(shè)上:第一，認(rèn)為訓(xùn)練

2、數(shù)據(jù)集在每個(gè)類別上的數(shù)目分布大致相同。通過這種類平衡分布假設(shè)構(gòu)建的分類器在遇到不平衡數(shù)據(jù)集時(shí)，常常會(huì)因?yàn)橄∮蓄悢?shù)據(jù)的信息被大類數(shù)據(jù)的信息覆蓋，導(dǎo)致分類效果不理想。第二，認(rèn)為所有的樣本來自同一個(gè)領(lǐng)域。當(dāng)訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集來自不同領(lǐng)域時(shí)，重新收集訓(xùn)練數(shù)據(jù)集以及重新構(gòu)建分類模型的代價(jià)都是很昂貴的。本文分析了以上的假設(shè)，主要做了下面幾項(xiàng)研究工作:
　　(1)研究對(duì)比模式的性質(zhì)，對(duì)不平衡數(shù)據(jù)集下多數(shù)類與少數(shù)類之間的關(guān)系對(duì)對(duì)比模式定義的影

3、響，提出了平衡顯露模式BEPs(Balance Emerging Patterns)的概念。研究平衡顯露模式性質(zhì)，從而建立不平衡數(shù)據(jù)集的對(duì)比模式挖掘基礎(chǔ)。在此基礎(chǔ)上提出了基于滑動(dòng)窗口的不平衡數(shù)據(jù)集對(duì)比模式挖掘算法。該算法首先對(duì)不平衡數(shù)據(jù)集建立一個(gè)滑動(dòng)窗口來縮小數(shù)據(jù)的不平衡度，提高模式挖掘的泛化能力。在挖掘過程中，讓正類數(shù)據(jù)固定在窗口中，負(fù)類數(shù)據(jù)在窗口流動(dòng)，使之與正類數(shù)據(jù)構(gòu)成一個(gè)不平衡度相對(duì)平緩的數(shù)據(jù)集。在窗口內(nèi)，采用基于排序FP樹的結(jié)構(gòu)

4、來挖掘平衡顯露模式，直到窗口數(shù)據(jù)結(jié)束。最后通過對(duì)子分類器的組合集成來構(gòu)建的一個(gè)最終分類器。
　　(2)共享平衡顯露模式(Shared Balance Emerging Patterns)實(shí)現(xiàn)了多領(lǐng)域不平衡數(shù)據(jù)集之間的知識(shí)遷移。針對(duì)共享平衡顯露模式SBEPs的性質(zhì)，本文提出了基于SBEPs的衡量多領(lǐng)域不平衡數(shù)據(jù)集的相似性的算法。該算法給出SBEPs相似質(zhì)量的計(jì)算方法，包括求整體相似質(zhì)量和平均相似質(zhì)量;然后，將SBEPs數(shù)量進(jìn)行標(biāo)準(zhǔn)化