基于hadoop streaming的Last軟件并行化的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計(jì)算相關(guān)技術(shù)的迅速發(fā)展，相關(guān)科學(xué)領(lǐng)域的數(shù)據(jù)呈現(xiàn)快速增長(zhǎng)的趨勢(shì)，如何快速準(zhǔn)確的分析日益增長(zhǎng)的數(shù)據(jù)成為一大難題。當(dāng)前許多領(lǐng)域的成熟軟件仍然是單機(jī)版軟件，這種單機(jī)版軟件無(wú)法面對(duì)其所在領(lǐng)域日益增長(zhǎng)的海量數(shù)據(jù)。通過(guò)將這種成熟的單機(jī)版軟件在云平臺(tái)上實(shí)現(xiàn)并行化將能夠有效解決這個(gè)問(wèn)題。
　　為實(shí)現(xiàn)單機(jī)版軟件并行化，往往需要分析單機(jī)版軟件的源碼，并轉(zhuǎn)換輸入文件的結(jié)構(gòu)。此過(guò)程費(fèi)時(shí)費(fèi)力，開(kāi)發(fā)周期較長(zhǎng)。本文主要闡述了一種在不修改單機(jī)

2、版軟件任何源碼及輸入文件結(jié)構(gòu)的情況下，將單機(jī)版軟件快速在Hadoop平臺(tái)實(shí)現(xiàn)并行化的方案。該方案通過(guò)使用Hadoop平臺(tái)提供的Hadoop Streaming編程工具，將序列比對(duì)軟件Last在Hadoop平臺(tái)上實(shí)現(xiàn)了并行化，為其它類(lèi)似問(wèn)題提供借鑒。
　　本文的主要研究?jī)?nèi)容是:首先對(duì)Last軟件并行化過(guò)程中涉及的技術(shù)和原理進(jìn)行研究與分析，重點(diǎn)研究了Last的比對(duì)原理、Hadoop分布式平臺(tái)和集群文件系統(tǒng)Lustre。其次設(shè)計(jì)了基于H

3、DFS的并行化模型，通過(guò)修改InputFormat來(lái)使其為L(zhǎng)ast比對(duì)軟件提供符合約束的輸入數(shù)據(jù)，并設(shè)計(jì)相關(guān)的Mapper腳本來(lái)將Last比對(duì)軟件進(jìn)行打包，使其可以透明的運(yùn)行在Hadoop平臺(tái)上。第三，設(shè)計(jì)了基于Lustre的并行化模型，通過(guò)設(shè)計(jì)索引構(gòu)建算法為輸入文件建立索引，使每個(gè)子任務(wù)可以通過(guò)該索引快速的獲得該任務(wù)所需處理的數(shù)據(jù)分片。并設(shè)計(jì)相關(guān)的Mapper腳本和Reducer腳本來(lái)將Last比對(duì)軟件進(jìn)行打包，重構(gòu)分區(qū)類(lèi)Partit