數(shù)據(jù)庫中Burst模式挖掘的研究與實現(xiàn).pdf

1、近十幾年來，隨著科學技術(shù)的不斷發(fā)展，人們產(chǎn)生和收集數(shù)據(jù)的能力迅速提高，因而數(shù)據(jù)規(guī)模急劇增加，僅僅依靠現(xiàn)有的技術(shù)是很難分析這些海量數(shù)據(jù)的，于是出現(xiàn)了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。人們希望能夠有新的工具自動的分析和整理如此龐雜的數(shù)據(jù)，從中發(fā)現(xiàn)有價值的東西，為決策提供必要的支持。面對這一挑戰(zhàn)，數(shù)據(jù)挖掘技術(shù)應運而生了。 數(shù)據(jù)挖掘技術(shù)是指從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中抽取出潛在的、有效的、新穎的、有用的和最終可以理解和

2、運用的知識的過程，它是涉及數(shù)據(jù)庫、人工智能、統(tǒng)計學等眾多學科的一個非?；钴S的研究領(lǐng)域。數(shù)據(jù)挖掘不僅吸引了眾多學者為其投入極大的熱情，同時也引起了產(chǎn)業(yè)界人士的廣泛關(guān)注。 數(shù)據(jù)挖掘有許多功能，比如關(guān)聯(lián)分析、聚類分析、例外分析等，其中例外分析也稱例外模式挖掘，它是數(shù)據(jù)挖掘的一個重要研究課題。一個數(shù)據(jù)庫中的數(shù)據(jù)一般不可能都符合分類預測或聚類分析所獲得的模型，那些不符合大多數(shù)數(shù)據(jù)對象所構(gòu)成的模型的數(shù)據(jù)對象被稱為異類(Outlier)或例外

3、(Exception)。以前許多數(shù)據(jù)挖掘算法在正式進行數(shù)據(jù)挖掘之前都把例外對象當作噪聲而將其排除在數(shù)據(jù)挖掘的分析處理范圍之外。但是從知識發(fā)現(xiàn)的角度來看，在一些應用場合，如電子商務欺詐行為的檢測，銀行信用卡欺詐行為的檢測等，那些很少發(fā)生的事情往往比經(jīng)常發(fā)生的事情更有趣、更有研究價值。因此，例外模式挖掘是一項重要且有意義的研究工作。 本文提出了一種新的例外模式——Burst模式的定義，這種模式只在單個或者少數(shù)幾個特定的時段或數(shù)據(jù)庫中

4、出現(xiàn)，并且在本階段或者本數(shù)據(jù)庫中相對其他模式而言有很高的支持度。這種模式支持度高，說明它們在各自的時段或數(shù)據(jù)庫中很頻繁；而它們又只有少數(shù)幾個時段或者數(shù)據(jù)庫支持，這就說明它們是特有的。那么這種模式就可以給公司或企業(yè)的決策者在做決策的時候提供支持和幫助。公司可以根據(jù)它們的特殊性制定出特殊的決策，加快公司的發(fā)展，提高公司的利潤。因此，如何有效地在數(shù)據(jù)庫中挖掘Burst模式就成了一項很有意義的研究工作。 本文第一章首先簡要介紹了數(shù)據(jù)挖掘

5、的基本概念、功能和面臨的挑戰(zhàn)；第二章詳細介紹了與本文密切相關(guān)的關(guān)聯(lián)規(guī)則挖掘的問題、方法和技術(shù)；接著在第三章首先用實驗結(jié)果分析了挖掘整個大型時態(tài)數(shù)據(jù)庫時可能存在的兩個問題：（1）由于數(shù)據(jù)量太大，而計算機的內(nèi)存有限，使得處理速度很慢或者出現(xiàn)死機甚至是無法處理的情況，因此也就很難甚至不能從這些數(shù)據(jù)中挖掘出所需要的知識；（2）有些模式或者知識只在某個特定的時期或者某個特定的時段出現(xiàn)，如果不加以劃分就直接放在一起挖掘的話，由于它們的支持度在整個數(shù)

6、據(jù)庫中不夠高而往往被忽略掉。然后提出了解決這兩個問題的一種新方法：在大型時態(tài)數(shù)據(jù)庫中挖掘Burst 模式。該方法首先將大型數(shù)據(jù)庫劃分成多個小型數(shù)據(jù)集，然后再對這些數(shù)據(jù)集進行“四次裁剪”，最后挖掘出潛在大型時態(tài)數(shù)據(jù)庫中的Burst 模式。經(jīng)實驗結(jié)果證明，該方法是準確有效的。 第四章詳細介紹了多數(shù)據(jù)庫挖掘的相關(guān)問題和相關(guān)方法，并提出了一種在多數(shù)據(jù)庫挖掘Burst模式的模型，該模型考慮到：一、各個子公司原始的數(shù)據(jù)具有商業(yè)機密或者隱私，

7、所以他們不會愿意將自己的原始數(shù)據(jù)上交給總公司或者共享他們的原始數(shù)據(jù)；二、如果總公司收到的是各個子公司上交上來的大量的原始數(shù)據(jù)，那么這些數(shù)據(jù)匯合在一起會形成數(shù)據(jù)爆炸。因此各個子公司交給總公司的只是他們的局部模式庫而非原始數(shù)據(jù)。該模型先將所有的局部模式庫進行劃分，得到各個局部模式庫相關(guān)組，再在各個組上進行綜合分析，從而從中挖掘出Burst模式。所以在第四章提出一種基于關(guān)聯(lián)規(guī)則的相似度測量方法，將各個局部模式庫進行劃分，并對劃分的結(jié)果進行評價