面向數(shù)據(jù)挖掘工作流的快速數(shù)據(jù)檢索技術(shù).pdf

1、面對(duì)海量的數(shù)據(jù)，數(shù)據(jù)挖掘成為當(dāng)前研究的熱點(diǎn)。在海量數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘，數(shù)據(jù)挖掘系統(tǒng)的性能成為其應(yīng)用的主要瓶頸，作為數(shù)據(jù)密集型應(yīng)用系統(tǒng)，數(shù)據(jù)檢索是數(shù)據(jù)挖掘系統(tǒng)中最普遍的操作，也是各個(gè)數(shù)據(jù)挖掘系統(tǒng)性能的主要瓶頸所在。所以如何在數(shù)據(jù)挖掘系統(tǒng)中對(duì)海量數(shù)據(jù)進(jìn)行高效管理、快速檢索成為高性能數(shù)據(jù)挖掘系統(tǒng)亟待解決的問(wèn)題。
　　本文首先通過(guò)對(duì)數(shù)據(jù)挖掘工作流中普遍應(yīng)用的算法的數(shù)據(jù)訪問(wèn)模式進(jìn)行了深入的分析，歸納總結(jié)出數(shù)據(jù)挖掘算法中普遍存在的數(shù)據(jù)訪問(wèn)模

2、式，以此為依據(jù)進(jìn)行了研究工作。
　　首先，針對(duì)數(shù)據(jù)挖掘工作流中數(shù)據(jù)的靜態(tài)特性和訪問(wèn)的隨機(jī)性，本文設(shè)計(jì)了pB+Tree(persistent B+Tree)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，該存儲(chǔ)結(jié)構(gòu)對(duì)數(shù)據(jù)批量構(gòu)建索引，構(gòu)建索引速度快，提高了數(shù)據(jù)存儲(chǔ)的效率，改善了緩存利用率，能夠提高數(shù)據(jù)挖掘應(yīng)用中數(shù)據(jù)檢索的速度。
　　其次，針對(duì)數(shù)據(jù)挖掘工作流中的普遍存在的計(jì)數(shù)查詢操作，本文提出了AD-Index(All Dimension Index)輔助數(shù)據(jù)檢

3、索結(jié)構(gòu)，該結(jié)構(gòu)能夠高效的完成對(duì)數(shù)據(jù)集的計(jì)數(shù)查詢操作，減少了數(shù)據(jù)挖掘算法中對(duì)數(shù)據(jù)集的掃描次數(shù)，提高了數(shù)據(jù)挖掘工作流的運(yùn)行效率。
　　此外，為進(jìn)一步提高數(shù)據(jù)檢索的效率，本文針對(duì)兩種數(shù)據(jù)結(jié)構(gòu)分別設(shè)計(jì)了緩存和預(yù)取算法，取得了良好的效果。為了驗(yàn)證算法的有效性，本文對(duì)兩種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)分別進(jìn)行了模擬對(duì)比試驗(yàn)，試驗(yàn)證明pB+Tree的存儲(chǔ)檢索效率明顯高于同類存儲(chǔ)結(jié)構(gòu)，AD-Index對(duì)數(shù)據(jù)挖掘的算法的加速效果也非常明顯。
　　基于以上的研究