基于關(guān)系數(shù)據(jù)庫(kù)和map-reduce的綜合查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，在大數(shù)據(jù)時(shí)代，我們所面臨的問(wèn)題不僅包括數(shù)據(jù)量相當(dāng)大，還包括對(duì)數(shù)據(jù)的深度分析，以及數(shù)據(jù)格式的多樣性。
　　傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)雖然已經(jīng)發(fā)展多年，有很多優(yōu)化技術(shù)，其功能和表達(dá)能力不斷增強(qiáng)。但根據(jù)CAP（一致性、可用性、容錯(cuò)性）理論，這三者只能同時(shí)滿足其中兩個(gè)，而傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)追求高的一致性和容錯(cuò)性，也就喪失了可用性。
　　MapReduce是一種編程模型，設(shè)計(jì)之初就是用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。集群系統(tǒng)具有良

2、好的性價(jià)比和可伸縮性，這也使MapReduce成為大規(guī)模海量數(shù)據(jù)平臺(tái)的首選原因之一。以上正好解決了數(shù)據(jù)分析所面臨的趨勢(shì)和挑戰(zhàn)。而且，Mapreduce模型簡(jiǎn)單、易于理解、易于使用。Hadoop是MapReduce的開(kāi)源實(shí)現(xiàn)，Hadoop平臺(tái)上有自己的Hive，所以可以很容易的將基于關(guān)系型數(shù)據(jù)庫(kù)的系統(tǒng)移植到Hadoop中。
　　本文首先做了一個(gè)基于關(guān)系型數(shù)據(jù)庫(kù)的查詢系統(tǒng)，考慮到以后數(shù)據(jù)量會(huì)很大，所以將該系統(tǒng)移植到Hadoop平臺(tái)上。