不確定頻繁閉項(xiàng)集挖掘算法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和科學(xué)技術(shù)的不斷進(jìn)步，各行各業(yè)都出現(xiàn)了海量的數(shù)據(jù)，這些數(shù)據(jù)是傳統(tǒng)的技術(shù)所無(wú)法處理的。例如在經(jīng)濟(jì)、金融、電信等行業(yè)都出現(xiàn)了海量的數(shù)據(jù)。在這樣的大數(shù)據(jù)背景下如何挖掘出有用的知識(shí)變得越來(lái)越有意義。它可以有效的解決當(dāng)前數(shù)據(jù)豐富而知識(shí)匱乏的問(wèn)題。挖掘頻繁項(xiàng)集一直以來(lái)都是數(shù)據(jù)挖掘技術(shù)中的重點(diǎn)問(wèn)題。挖掘得出的頻繁項(xiàng)集可以更好的指導(dǎo)更有效的方案的制定。例如經(jīng)典的啤酒和尿布的案例。
　　然而數(shù)據(jù)挖掘的結(jié)果往往不盡如人意，由于海量的數(shù)

2、據(jù)以及支持度較低的時(shí)候挖掘出的頻繁項(xiàng)集的數(shù)量和關(guān)聯(lián)規(guī)則的數(shù)量往往也是巨大的，顯然這不是我們想要的結(jié)果，一般的解決思路就是讓結(jié)果只產(chǎn)生更具有代表性的子集，例如挖掘最大頻繁項(xiàng)集或者挖掘頻繁閉項(xiàng)集，但是最大頻繁項(xiàng)集將會(huì)丟失重要的信息，所以我們選擇使用頻繁閉項(xiàng)集來(lái)代替海量的頻繁項(xiàng)集。
　　近些年來(lái)，數(shù)據(jù)在傳感器網(wǎng)絡(luò)、衛(wèi)星圖像信息、Web應(yīng)用領(lǐng)域、無(wú)限射頻技術(shù)以及經(jīng)濟(jì)、物流、電信等應(yīng)用中都表現(xiàn)出了一種不確定性。因此在不確定性數(shù)據(jù)集中如何運(yùn)用

3、數(shù)據(jù)挖掘技術(shù)變得十分迫切。然而目前經(jīng)典的挖掘算法都是針對(duì)確定的數(shù)據(jù)集進(jìn)行數(shù)據(jù)挖掘的。針對(duì)目前不確定性的數(shù)據(jù)集我們需要提出新的數(shù)據(jù)模型來(lái)應(yīng)對(duì)數(shù)據(jù)的復(fù)雜性。
　　本文深入學(xué)習(xí)研究頻繁閉項(xiàng)集的挖掘算法之后提出改進(jìn)策略，并且對(duì)當(dāng)前廣泛出現(xiàn)的不確定性數(shù)據(jù)模型深入學(xué)習(xí)，閱讀大量文獻(xiàn)之后提出了一種不確定頻繁閉項(xiàng)集挖掘算法。主要研究成果如下：
　　1、頻繁項(xiàng)集挖掘的兩種策略。深入研究學(xué)習(xí)了大量的頻繁項(xiàng)集挖掘算法之后，頻繁項(xiàng)集挖掘領(lǐng)域的經(jīng)典算

4、法主要有兩類(lèi)，一是Apriori算法以及以Apriori算法為基礎(chǔ)的以層次迭代為策略來(lái)求取頻繁項(xiàng)集的挖掘算法。該算法的主要的不足之處就是必須多次訪問(wèn)事務(wù)數(shù)據(jù)庫(kù)和產(chǎn)生大量的候選項(xiàng)集，這無(wú)疑增加了大量的時(shí)空開(kāi)銷(xiāo)。二是FP-Growth算法以及基于FP-Tree結(jié)構(gòu)的算法。該類(lèi)算法采用深度優(yōu)先遍歷FP-Tree的策略，只需要訪問(wèn)一次事務(wù)數(shù)據(jù)庫(kù)并且完全避免了利用候選項(xiàng)集的策略，時(shí)空效率得到了大大的提高。
　　2、頻繁閉項(xiàng)集挖掘的兩種策略。

5、用來(lái)代替頻繁項(xiàng)集而出現(xiàn)的頻繁閉項(xiàng)集的挖掘算法主要分為兩類(lèi)，一是類(lèi)Apriori算法，二是類(lèi)FP-Growth算法，在第二類(lèi)算法中挖掘頻繁閉項(xiàng)集效率最高的算法就是DCI_Closed算法，該算法提出這樣的概念：生成子是保序的，并且證明得出每個(gè)閉項(xiàng)集都有唯一保序的生成子序列。利用這一性質(zhì)來(lái)達(dá)到剪枝的目的，提高了的算法運(yùn)行的時(shí)間效率。
　　3、提出了一種改進(jìn)的 DCI_Closed算法，針對(duì)當(dāng)前頻繁閉項(xiàng)集高效挖掘算法DCI_Closed

6、在挖掘過(guò)程中存在一定的不足之處，本文在DCI_Closed算法的基礎(chǔ)之上提出了一種改進(jìn)的 DCI_Closed算法，在算法中引入共生項(xiàng)集和雙生項(xiàng)集的概念，在構(gòu)造FP-Tree結(jié)構(gòu)的時(shí)候?qū)蜻x的1-項(xiàng)集進(jìn)行有效的剪枝操作，以此來(lái)提高算法的時(shí)空效率。
　　4、提出了一種新算法 U_DCI_Closed算法，不確定性數(shù)據(jù)集下挖掘頻繁項(xiàng)集已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域中熱點(diǎn)問(wèn)題，然而在不確定性數(shù)據(jù)集下挖掘最大頻繁項(xiàng)集和頻繁閉項(xiàng)集的算法并不多見(jiàn)。在深