數(shù)據(jù)挖掘中海量數(shù)據(jù)處理算法的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中提取出有用的、有價值的信息或者人們所感興趣的知識的一種處理過程。但是隨著不斷迅速發(fā)展的信息互聯(lián)網(wǎng)和數(shù)據(jù)庫技術(shù),已經(jīng)迫使海量數(shù)據(jù)的處理成為數(shù)據(jù)挖掘領(lǐng)域所要解決的一個重要課題。
　　本文以“電信數(shù)據(jù)挖掘系統(tǒng)的設(shè)計與開發(fā)”的項(xiàng)目為研究背景,通過對海量數(shù)據(jù)處理技術(shù)的研究,提出了使用內(nèi)存映射文件技術(shù)對海量數(shù)據(jù)進(jìn)行初步處理的方法;通過對海量數(shù)據(jù)挖掘算法及粒計算理論知識的研究,本文提出了兩種數(shù)據(jù)挖掘算法:一種是基于矩陣

2、壓縮的Apriroi算法(MC-Apriori),這種算法是在經(jīng)典Apriori算法基礎(chǔ)上的改進(jìn),把事務(wù)數(shù)據(jù)轉(zhuǎn)化為0-1矩陣,并按照Apriori性質(zhì)及其推論對矩陣進(jìn)行反復(fù)壓縮,進(jìn)而得到各項(xiàng)頻繁項(xiàng)集,此算法也在一定程度上減少了數(shù)據(jù)規(guī)模及其計算量;一種是基于粒計算的關(guān)聯(lián)規(guī)則挖掘算法(Grc-AR),此算法是在MC-Apriori算法的基礎(chǔ)上引入粒計算的思想,把海量數(shù)據(jù)集劃分成若干個小數(shù)據(jù)集,然后對各個小數(shù)據(jù)集進(jìn)行操作,并對結(jié)果進(jìn)行整合,得