云平臺(tái)分布式索引研究及其應(yīng)用.pdf

1、目前在基于MapReduce框架的分布式數(shù)據(jù)倉(cāng)庫(kù)中,對(duì)于范圍查詢無論最終需要的數(shù)據(jù)量大小都需要將整個(gè)數(shù)據(jù)集進(jìn)行遍歷,導(dǎo)致浪費(fèi)了很多I/O開銷。
　　本文展示了一種基于樹的索引方案,它能對(duì)云平臺(tái)中的大數(shù)據(jù)集提供高效的索引構(gòu)建和查詢服務(wù),它結(jié)合并擴(kuò)展了分布式系統(tǒng)的特性,使其成為一個(gè)分布式索引系統(tǒng)。本系統(tǒng)主要是針對(duì)云平臺(tái)中的數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行構(gòu)建的,在設(shè)計(jì)與實(shí)現(xiàn)方面取得了以下階段性成果。
　　首先,我們將傳統(tǒng)的非分布式樹形索引應(yīng)用到分布

2、式系統(tǒng)中,充分結(jié)合了樹形索引在數(shù)據(jù)查詢中的高效性和分布式系統(tǒng)強(qiáng)大的計(jì)算能力和存儲(chǔ)能力,使C-index在大規(guī)模數(shù)據(jù)集的處理中發(fā)揮了強(qiáng)大的作用。其次,為了減少系統(tǒng)I/O開銷,我們修改了索引的存儲(chǔ)結(jié)構(gòu),使它能夠適合分布式存儲(chǔ)系統(tǒng)的需求。這些修改包括了樹節(jié)點(diǎn)的結(jié)構(gòu)和文件存儲(chǔ)結(jié)構(gòu),使C-index能夠使用更少的I/O操作去獲得需要的數(shù)據(jù)。為了進(jìn)一步提高系統(tǒng)性能,我們把緩存的優(yōu)化機(jī)制加入到C-index中,在一定程度上有效的減少了I/O時(shí)間。最后