基于Hadoop的海量小型XML數(shù)據(jù)挖掘的研究.pdf

1、目前，隨著“互聯(lián)網(wǎng)+”時(shí)代的到來，各行各業(yè)都將傳統(tǒng)行業(yè)和互聯(lián)網(wǎng)進(jìn)行整合，來達(dá)到產(chǎn)業(yè)的升級(jí)換代，由此必然會(huì)產(chǎn)生海量的互聯(lián)網(wǎng)數(shù)據(jù)。XML可以在不同平臺(tái)間進(jìn)行數(shù)據(jù)的表示、存儲(chǔ)和交換，因此XML數(shù)據(jù)在互聯(lián)網(wǎng)數(shù)據(jù)中占據(jù)了絕大多數(shù)。面對(duì)如此浩瀚的XML數(shù)據(jù)海洋，如何從中提取出有價(jià)值的信息，數(shù)據(jù)挖掘技術(shù)顯示出了強(qiáng)大的生命力。通過數(shù)據(jù)挖掘，可以從海量的、非結(jié)構(gòu)化的、靜態(tài)的XML數(shù)據(jù)集合中，提取出隱含在其中的、未知的、有用的知識(shí)和信息，這對(duì)于科學(xué)研究與商

2、業(yè)決策等領(lǐng)域具有指導(dǎo)性的重大意義。
　　大數(shù)據(jù)帶來了大機(jī)遇，但同時(shí)也對(duì)快速、高效、低成本的挖掘數(shù)據(jù)提出了挑戰(zhàn)。云計(jì)算技術(shù)的泛起為解決大數(shù)據(jù)的這一挑戰(zhàn)帶來了新的機(jī)會(huì)，其通過分布式結(jié)構(gòu)將存儲(chǔ)和運(yùn)算任務(wù)平衡的分配給集群中的節(jié)點(diǎn)，從而實(shí)現(xiàn)了對(duì)超大數(shù)據(jù)集的存儲(chǔ)和運(yùn)算，使數(shù)據(jù)挖掘變得更加簡(jiǎn)捷、高效、易于實(shí)現(xiàn)。在眾多的云平臺(tái)中，Hadoop以其成熟、開源、高效等特點(diǎn)在數(shù)據(jù)領(lǐng)域得到了普遍的應(yīng)用。結(jié)合Hadoop與數(shù)據(jù)挖掘的優(yōu)勢(shì)，本文進(jìn)行了以下三個(gè)

3、方面的研究工作:
　　首先，針對(duì)Hadoop在處理海量小型XML數(shù)據(jù)時(shí)出現(xiàn)的內(nèi)存占用率高、存儲(chǔ)性能差以及難以對(duì)XML這種結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析處理的問題，本文對(duì)XML數(shù)據(jù)進(jìn)行解析、合并及編碼等預(yù)處理，使其轉(zhuǎn)變?yōu)檫m合于Hadoop處理的文本數(shù)據(jù)。
　　其次，隨著數(shù)據(jù)規(guī)模的急劇增大，將導(dǎo)致數(shù)據(jù)的掃描和計(jì)算所耗費(fèi)的時(shí)間越來越長(zhǎng)，致使Apriori算法已經(jīng)無法滿足于大型數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的要求。對(duì)此，本文對(duì)Apriori算法進(jìn)行了分析與改

4、進(jìn)，提出了一種Apriori的改進(jìn)型算法——XApriori算法，通過對(duì)CD并行化策略的改進(jìn)來對(duì)XApriori算法進(jìn)行并行化處理并且將其與Hadoop平臺(tái)相結(jié)合來進(jìn)行關(guān)聯(lián)規(guī)則的挖掘。
　　最后，本文設(shè)計(jì)并且實(shí)現(xiàn)了一個(gè)以Hadoop為云計(jì)算平臺(tái)的海量小型XML數(shù)據(jù)分布式挖掘系統(tǒng)——DXMS系統(tǒng)，對(duì)其各個(gè)小功能模塊進(jìn)行了闡述。該系統(tǒng)主要是由XML數(shù)據(jù)預(yù)處理模塊和中間數(shù)據(jù)分布式挖掘模塊組成，XML數(shù)據(jù)預(yù)處理模塊采用生產(chǎn)者-消費(fèi)模式，多