基于Hadoop的在線存儲系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時代，個人所擁有的數(shù)據(jù)量正在呈現(xiàn)爆炸式增長，個人所需要處理的數(shù)據(jù)種類也趨于龐雜。面對人們?nèi)找嬖鲩L的需求，基于物理存儲介質(zhì)的個人本地存儲存在著便攜性差，存儲容量較低且不易擴(kuò)展，存儲成本高等問題。針對本地存儲的各種弊端，各大互聯(lián)網(wǎng)公司紛紛推出了在線存儲應(yīng)用。依靠互聯(lián)網(wǎng)技術(shù)以及云計算技術(shù)的高速發(fā)展，在線存儲應(yīng)用越來越被廣大用戶所接受，人們的存儲習(xí)慣正在潛移默化中改變。與此同時，在線存儲技術(shù)也處于發(fā)展之中，面臨著傳輸速度慢，運(yùn)營成本高等諸

2、多問題。
　　針對以往的在線存儲技術(shù)所面臨的問題，本文提出了一種面向高速局域網(wǎng)以及應(yīng)用云計算儲存技術(shù)的在線存儲方式，并完成了整個系統(tǒng)的開發(fā)流程。首先，對在線存儲系統(tǒng)進(jìn)行了需求分析。文中調(diào)查了需要解決的問題，并分析了系統(tǒng)的功能性以及非功能性需求。同時，本文明確了系統(tǒng)中包含普通用戶以及管理員兩類參與者，并詳細(xì)考察了參與者的用例。在完成系統(tǒng)數(shù)據(jù)建模、明確系統(tǒng)數(shù)據(jù)流向以及分析功能的基礎(chǔ)上，將本系統(tǒng)分解為系統(tǒng)管理，文件操作，用戶管理三大模塊

3、。其次，完成了在線存儲系統(tǒng)設(shè)計與實(shí)現(xiàn)。該系統(tǒng)是對開源分布式系統(tǒng)hadoop的定制與改造，系統(tǒng)在底層采用了HDFS以及Hbase技術(shù)，分別保證了用戶文件和系統(tǒng)數(shù)據(jù)的可靠存儲。同時采用了 B/S架構(gòu)，方便用戶使用，并能夠屏蔽客戶端異構(gòu)性問題，具有跨平臺使用能力。并且根據(jù)數(shù)據(jù)建模完成了數(shù)據(jù)庫設(shè)計，在需求分析的基礎(chǔ)上完成了系統(tǒng)詳細(xì)設(shè)計，在 web開發(fā)三層架構(gòu)的理論指導(dǎo)下完成了系統(tǒng)的分層架構(gòu)設(shè)計以及包組織結(jié)構(gòu)的規(guī)劃。在以上基礎(chǔ)上，詳細(xì)設(shè)計了各個組

4、件的概要類圖，以及通過序列圖明確了各個功能的業(yè)務(wù)邏輯，最終完成了系統(tǒng)管理，文件操作，用戶管理三大組件的設(shè)計。此外，本文使用J2EE技術(shù)和HDFS以及 HBase提供的接口設(shè)計實(shí)現(xiàn)了系統(tǒng)中各個組件，并完成系統(tǒng)集成。在完成功能的基礎(chǔ)上，針對HDFS可能出現(xiàn)的單點(diǎn)故障問題，探究了在線存儲系統(tǒng)的高可用性方案。為了能夠快速部署，提高系統(tǒng)可維護(hù)性，提出了一種hadoop快速部署的方法。最后，對整個系統(tǒng)的功能進(jìn)行測試。為了確定整個系統(tǒng)能夠按照需求分析