基于Hadoop的海量圖片云存儲(chǔ)系統(tǒng)研究與設(shè)計(jì).pdf

1、進(jìn)入二十一世紀(jì)以后,隨著互聯(lián)網(wǎng)的不斷發(fā)展和互聯(lián)網(wǎng)技術(shù)的深入應(yīng)用,一些大型的門戶網(wǎng)站和電子商務(wù)網(wǎng)站迅速發(fā)展起來,如淘寶網(wǎng)、京東、亞馬遜、新浪等。這些網(wǎng)站圖片所占用的資源相當(dāng)大,且其數(shù)量呈爆炸式增長(zhǎng),并且具有高并發(fā)訪問性。面對(duì)海量的圖片資源,如何高效的存儲(chǔ)以及如何在滿足高并發(fā)訪問的前提下構(gòu)建高效廉價(jià)的存儲(chǔ)系統(tǒng)成為軟件架構(gòu)師需要迫切解決的問題。
　　云計(jì)算的出現(xiàn)給我們提供了一條思路,通過分析我們可以采用分布式存儲(chǔ)系統(tǒng)來解決上述難題。本文

2、通過分析海量圖片的存儲(chǔ)需求,以及對(duì)現(xiàn)有分布式系統(tǒng)的研究,提出了一種基于云計(jì)算的海量圖片存儲(chǔ)模型。該模型部署在Linux機(jī)器集群上,以Hadoop中的 HDFS為基礎(chǔ),并且通過優(yōu)化實(shí)現(xiàn)了高容錯(cuò)性,并且能夠提供可靠的高并發(fā)訪問。采用新型的數(shù)據(jù)組織結(jié)構(gòu),把文件名和物理地址相映射,從而提供了良好讀寫性。同時(shí)采用HA架構(gòu),保證系統(tǒng)的可用性。
　　本文的研究?jī)?nèi)容主要包含以下三個(gè)方面:
　　第一,通過對(duì)海量圖片存儲(chǔ)的需求分析以及對(duì)現(xiàn)有分布

3、式系統(tǒng)的研究,提出了基于Hadoop的存儲(chǔ)模型。通過采用Master/Slave架構(gòu),實(shí)現(xiàn)了在廉價(jià)的計(jì)算機(jī)集群上部署系統(tǒng),并且具有高容錯(cuò)性和擴(kuò)展性。
　　第二,通過設(shè)計(jì)緩存系統(tǒng)保證了存儲(chǔ)系統(tǒng)的穩(wěn)定性。通過設(shè)計(jì)均衡負(fù)載,實(shí)現(xiàn)了對(duì)各個(gè)存儲(chǔ)節(jié)點(diǎn)的優(yōu)化。
　　第三,在對(duì)圖片元數(shù)據(jù)的存儲(chǔ)中采用的是Hadoop的HBase。通過對(duì)圖片文件名的重新設(shè)計(jì),使得同一類型的圖片所存儲(chǔ)的物理地址盡可能的靠近,從而提高了查詢的效率。
　　本文