大數(shù)據(jù)的存儲(chǔ)和處理研究.pdf

1、近年來，隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)飛速地發(fā)展數(shù)據(jù)呈現(xiàn)爆炸式地增長，我們已經(jīng)進(jìn)入了一個(gè)“大數(shù)據(jù)”時(shí)代。如何從海量數(shù)據(jù)中挖掘出有價(jià)值的知識(shí)，是數(shù)據(jù)挖掘所面臨的主要問題之一。傳統(tǒng)的數(shù)據(jù)挖掘算法在處理海量數(shù)據(jù)時(shí)效率低下，很難滿足現(xiàn)階段對(duì)大數(shù)據(jù)處理的要求，所以如何存儲(chǔ)和處理大數(shù)據(jù)成為人們面臨的一個(gè)重大挑戰(zhàn)。然而云計(jì)算的出現(xiàn)解決了傳統(tǒng)數(shù)據(jù)挖掘算法在處理人數(shù)據(jù)挖掘時(shí)的瓶頸。Hadoop是Google公司云計(jì)算平臺(tái)的開源實(shí)現(xiàn)，主要包括HDFS分布式文件系統(tǒng)

2、和MapReduce編程模型兩個(gè)組成部分。Hadoop實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的分布式存儲(chǔ)和處理，在數(shù)據(jù)挖掘領(lǐng)域得到了廣泛的麻用。
　　本文主要對(duì)HDFS分布式文件系統(tǒng)和MapReduce編程模型這兩個(gè)部分進(jìn)行研究。首先介紹了HDFS的相關(guān)概念，并詳細(xì)地分析了HDFS文件的讀取和寫入的過程。由于HDFS具有“一次寫入，多次讀取”的特點(diǎn)，一旦文件上傳到HDFS中就不能對(duì)文件中的內(nèi)容進(jìn)行修改?？梢岳肏adoop提供的API給HDFS新增幾個(gè)

3、功能模塊，如新建一個(gè)空文件、重命名文件和續(xù)寫文件等操作，從而擴(kuò)展了用戶對(duì)HDFS的操作。隨后詳細(xì)地闡述了MapReduce的相關(guān)內(nèi)容和運(yùn)行機(jī)制，然后通過對(duì)關(guān)聯(lián)規(guī)則挖掘中Apriori算法進(jìn)行詳細(xì)地分析，指出了算法的不足之處，從而提出了將算法移植到MapReduce編程模型下的必要性。最后設(shè)計(jì)了一種基于MapReduce的Apriori改進(jìn)算法。該算法摒棄了傳統(tǒng)算法多次遍歷數(shù)據(jù)庫的缺點(diǎn)并解決了現(xiàn)有基于MapReduce簡單的Apriori