云環(huán)境下海量XML文檔的分布式Twig查詢處理算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，XML已經(jīng)成為互聯(lián)網(wǎng)上信息存儲(chǔ)和數(shù)據(jù)交換的重要標(biāo)準(zhǔn)，因此，XML文檔的數(shù)據(jù)規(guī)模急劇增長(zhǎng)，使得海量XML文檔的查詢處理成為當(dāng)前比較熱門的研究方向。XML文檔查詢的核心操作是小枝模式(Twig)查詢，但是傳統(tǒng)的Twig查詢處理算法在海量XML文檔上的查詢效率低，高效地查詢處理海量XML文檔的研究還很少，并且存在許多問(wèn)題。
　　云計(jì)算是當(dāng)前處理海量數(shù)據(jù)的主流技術(shù)，云環(huán)境下海量數(shù)據(jù)管理技術(shù)研究主要包括數(shù)據(jù)分片和分布式

2、查詢處理。首先，在數(shù)據(jù)分片方面，本文提出了XML文檔的任意分片算法AF(Arbitrarily Fragmentation)，AF算法能夠在保證分片的任意性的前提下，通過(guò)記錄分割結(jié)點(diǎn)信息以維持XML文檔結(jié)構(gòu)信息的完整性。其次，在分布式查詢處理方面，本文提出了基于MapReduce的分布式Twig查詢處理算法DTS(DTwigStack)，該算法利用AF算法記錄的分割結(jié)點(diǎn)信息，分布式的處理所有的分片，并輸出所有可能組合成最終的查詢匹配結(jié)果

3、的局部結(jié)果。然后，為了保證把有可能合并成最終結(jié)果的局部路徑結(jié)果發(fā)送到同一個(gè)Reduce任務(wù)進(jìn)行處理，本文引入了ComMapReduce框架中的Coordinator節(jié)點(diǎn)，用來(lái)收集DTS算法在Map階段執(zhí)行得到的鍵值信息，并在整合之后發(fā)送給所有的Mapper節(jié)點(diǎn)，重新修改鍵值，從而保證能夠把具有相同鍵值的局部路徑結(jié)果發(fā)送到同一個(gè)Reduce任務(wù)，并組合成最終的匹配結(jié)果。
　　本文設(shè)計(jì)了一系列實(shí)驗(yàn)，包括分布式查詢處理算法DTS的性能與