基于NoSQL的分布式存儲(chǔ)系統(tǒng)相關(guān)算法改進(jìn)與性能優(yōu)化.pdf

1、隨著網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的快速發(fā)展，基于分布式存儲(chǔ)的應(yīng)用正經(jīng)歷著前所未有的高速發(fā)展，需要存儲(chǔ)大量數(shù)據(jù)的網(wǎng)站、云服務(wù)等得以普及。然而這些數(shù)據(jù)目前集中部署在單節(jié)點(diǎn)存儲(chǔ)設(shè)備上，隨著數(shù)據(jù)規(guī)模的擴(kuò)大，單臺(tái)主機(jī)的資源并不能容納大規(guī)模的數(shù)據(jù)。由于后續(xù)擴(kuò)容成本昂貴，因此迫切需要引入分布式存儲(chǔ)系統(tǒng)來解決大數(shù)據(jù)的存放和訪問問題。同時(shí)隨著電子商務(wù)的發(fā)展以及Web2.0技術(shù)在網(wǎng)絡(luò)應(yīng)用的廣泛應(yīng)用，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫不能滿足對(duì)當(dāng)今數(shù)據(jù)的存儲(chǔ)要求。NoSQL數(shù)據(jù)庫是對(duì)關(guān)系型

2、數(shù)據(jù)庫的補(bǔ)充，通過簡單數(shù)據(jù)模型、元數(shù)據(jù)以及應(yīng)用數(shù)據(jù)分離和弱一致性等技術(shù)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的有效管理。
　　基于以上，本文主要研究基于NoSQL的分布式存儲(chǔ)中的數(shù)據(jù)分布、數(shù)據(jù)壓縮和及存儲(chǔ)格式問題，在分析總結(jié)國內(nèi)外相關(guān)研究的基礎(chǔ)上，提出了基于Redis改進(jìn)的一致性哈希算法和基于Hive的性能優(yōu)化研究，并以Redis在排行榜問題中的應(yīng)用為背景，對(duì)Redis進(jìn)行了有效的性能分析與評(píng)測(cè)。主要的研究工作如下：
　　(1)基于Redis改進(jìn)的

3、一致性哈希算法，為了解決分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)均衡問題，提高算法在應(yīng)用實(shí)踐時(shí)的可靠性、可用性等特性。通過對(duì)Redis存儲(chǔ)節(jié)點(diǎn)進(jìn)行邏輯劃分成一個(gè)組，組內(nèi)采用主從模式可以提高分布式存儲(chǔ)的一致性和可靠性，并分析了同一個(gè)組內(nèi)不同讀寫策略的數(shù)據(jù)一致性。當(dāng)組內(nèi)主節(jié)點(diǎn)宕機(jī)時(shí)，利用從節(jié)點(diǎn)的備份數(shù)據(jù)以及主從切換可以及時(shí)對(duì)外提供集群服務(wù)。通過實(shí)驗(yàn)證明，該算法能有效地降低讀寫操作平均響應(yīng)時(shí)間和提高系統(tǒng)吞吐量，使分布式存儲(chǔ)系統(tǒng)負(fù)載更為均衡。
　　(2)基

4、于Hive的性能優(yōu)化研究，為了解決分布式存儲(chǔ)系統(tǒng)中文件系統(tǒng)的數(shù)據(jù)壓縮和存儲(chǔ)格式問題，通過對(duì)MapReduce作業(yè)調(diào)度和Hive性能調(diào)優(yōu)兩個(gè)方面對(duì)Hive的性能進(jìn)行優(yōu)化研究。對(duì)于MapReduce主要從編程模型切入，分析其執(zhí)行過程，并從map端、reduce端進(jìn)行參數(shù)調(diào)優(yōu)。接著從Hive框架角度入手，分別從分區(qū)表和外部表以及常用數(shù)據(jù)文件的壓縮、行式存儲(chǔ)與列式存儲(chǔ)等方面進(jìn)行深入研究。實(shí)驗(yàn)結(jié)果表明，snappy壓縮、orcfile/parqu