針對(duì)地震大數(shù)據(jù)的分布式文件系統(tǒng)的研究與設(shè)計(jì).pdf

1、現(xiàn)代社會(huì)隨著科學(xué)技術(shù)不斷地進(jìn)步發(fā)展，互聯(lián)網(wǎng)的不斷普及，人們逐漸了解了云這個(gè)全新的定義。伴隨著云時(shí)代的到來(lái)，大數(shù)據(jù)也同樣進(jìn)入了人們的視線。信息技術(shù)的長(zhǎng)足進(jìn)步，大數(shù)據(jù)的應(yīng)用已涉及到了社會(huì)的各行各業(yè)。其中在地震勘探方面，為了滿足社會(huì)的需求，地震勘探所產(chǎn)生的數(shù)據(jù)量也在大幅增長(zhǎng)，海量數(shù)據(jù)的產(chǎn)生雖然很好地反映了社會(huì)對(duì)石油、天然氣等資源的極大需求，但是大規(guī)模的數(shù)據(jù)的處理問(wèn)題也給地震勘探行業(yè)帶來(lái)嚴(yán)峻的挑戰(zhàn)。
　　地震勘探產(chǎn)生的海量數(shù)據(jù)所帶來(lái)的問(wèn)題

2、是多方面的，包括存儲(chǔ)、讀取、冗余、抽取等。本文重點(diǎn)針對(duì)數(shù)據(jù)的存儲(chǔ)與讀取兩個(gè)方面。
　　在實(shí)際情況中，讀取地震數(shù)據(jù)需要考慮用戶的具體情況，滿足用戶的需求，這一般體現(xiàn)在讀取數(shù)據(jù)的速度和效率方面，同時(shí)還需要考慮到地震數(shù)據(jù)本身的特點(diǎn)。本文針對(duì)這些方面設(shè)計(jì)了一種架構(gòu)，采用分布和分級(jí)的策略。分布即對(duì)地震數(shù)據(jù)的分布式存儲(chǔ):把大量的地震數(shù)據(jù)分散到各個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行存儲(chǔ)，同時(shí)通過(guò)一個(gè)主節(jié)點(diǎn)對(duì)這些數(shù)據(jù)節(jié)點(diǎn)進(jìn)行管理;分級(jí)即數(shù)據(jù)的分級(jí)查詢:從主節(jié)點(diǎn)到數(shù)據(jù)節(jié)

3、點(diǎn)，分級(jí)地對(duì)所需要的數(shù)據(jù)進(jìn)行查詢，進(jìn)而得到用戶所需要的數(shù)據(jù)。
　　本文在此架構(gòu)的基礎(chǔ)上，針對(duì)地震勘探數(shù)據(jù)本身的存儲(chǔ)格式即SEG-Y格式，以該格式為基準(zhǔn)，對(duì)地震數(shù)據(jù)的存儲(chǔ)格式進(jìn)行了改進(jìn)，并與原SEG-Y進(jìn)行對(duì)比，結(jié)果表明在一定程度上提高了效率。除此之外，本文基于此架構(gòu)加入了兩級(jí)索引結(jié)構(gòu)，通過(guò)索引快速找出數(shù)據(jù)存儲(chǔ)的位置并進(jìn)行讀取，保證了用戶讀取數(shù)據(jù)的需求。這是本文基于分布分級(jí)策略的相關(guān)實(shí)現(xiàn)細(xì)節(jié)，也是本文的創(chuàng)新之處所在。
　　針對(duì)

4、以上幾個(gè)方面的研究，本文以目前比較流行的兩種分布式文件系統(tǒng)FastDFS和Hadoop DFS為載體，結(jié)合地震數(shù)據(jù)本身的特點(diǎn)以及對(duì)IO性能的需求，把前文提出的分布與分級(jí)式的策略融合進(jìn)這兩個(gè)分布式文件系統(tǒng)中，使其在地震數(shù)據(jù)的性能方面能發(fā)揮出應(yīng)有的優(yōu)勢(shì)。然后在此基礎(chǔ)上對(duì)文件的操作進(jìn)行測(cè)試并與原有分布式文件系統(tǒng)進(jìn)行性能對(duì)比，測(cè)試與對(duì)比結(jié)果表明，本文設(shè)計(jì)出的分布式文件系統(tǒng)在對(duì)地震勘探數(shù)據(jù)的處理是十分合適且高效的。由于本文設(shè)計(jì)出的系統(tǒng)對(duì)于地震數(shù)據(jù)