基于分布式內(nèi)存云的查詢系統(tǒng).pdf

1、圖(Graph)作為一種常見通用的數(shù)據(jù)結(jié)構(gòu),由于其豐富的數(shù)據(jù)表現(xiàn)能力,在越來越多的應(yīng)用中被用來對(duì)數(shù)據(jù)進(jìn)行抽象和建模。隨著社交網(wǎng)絡(luò),語義Web等大型應(yīng)用的興起,我們面臨對(duì)來自大規(guī)模海量圖數(shù)據(jù)的存儲(chǔ)和查詢的挑戰(zhàn),在存儲(chǔ)方面,傳統(tǒng)的基于磁盤或者分布式文件系統(tǒng)的解決方案并未充分考慮圖的隨機(jī)訪問特性,因此在大規(guī)模數(shù)據(jù)集上的密集訪問構(gòu)成對(duì)系統(tǒng)IO性能的巨大威脅。在查詢方面,傳統(tǒng)的圖查詢算法往往只能滿足在小規(guī)模數(shù)據(jù)集上的查詢,當(dāng)數(shù)據(jù)超過一定規(guī)模的時(shí)候

2、,傳統(tǒng)的算法無法完成真正意義上的實(shí)時(shí)查詢。結(jié)合我們過去的工作,本文提出了一種基于分布式內(nèi)存云Trinity的分布式內(nèi)存圖存儲(chǔ)和建模方案,根據(jù)分布式內(nèi)存云的特征,我們又設(shè)計(jì)實(shí)現(xiàn)了一套完整的查詢方案,包括查詢語言,查詢執(zhí)行,查詢優(yōu)化等多個(gè)方面的工作。考慮到在實(shí)際場景中的內(nèi)存限制,我們另外提出了一種結(jié)合分布式內(nèi)存云與RDBMS的混合存儲(chǔ)方案,并對(duì)此進(jìn)行了查詢優(yōu)化的重新設(shè)計(jì)。我們?cè)诂F(xiàn)有的最大規(guī)模的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)評(píng)估,結(jié)果表明我們的存儲(chǔ)方案,