基于Hadoop平臺的地震波形數(shù)據(jù)處理方法研究.pdf

1、近年來國家對地震領(lǐng)域的發(fā)展頗為關(guān)注，地震數(shù)據(jù)分析成為地震領(lǐng)域的熱門話題。隨著科學(xué)技術(shù)的不斷發(fā)展，地震數(shù)據(jù)采集儀器的精密度有了很大提升。分散在國內(nèi)的地震監(jiān)測臺站數(shù)量不斷增加，這使得數(shù)據(jù)采集量大增。國家臺網(wǎng)中心每天匯集約40GB的地震波形數(shù)據(jù)，如此海量的數(shù)據(jù)給數(shù)據(jù)存儲和分析造成了很大的挑戰(zhàn)。為了方便傳輸，通常將波形數(shù)據(jù)保存為SEED格式。在進行地震數(shù)據(jù)分析前，需要首先將SEED格式文件解壓縮，得到原始樣本序列?，F(xiàn)有方法是利用串行思想，每次只

2、能夠解壓縮單個文件，無法完成批量文件的解壓縮操作。由于地震數(shù)據(jù)在采集過程中會收集到一些干擾信號，這些信號會影響地震分析的準確性，因此在解壓縮得到原始樣本序列后，需要先對序列進行濾波處理，保證地震數(shù)據(jù)分析的質(zhì)量。面對大量地震波形數(shù)據(jù)時，串行濾波方法存在計算速度慢，處理效率較低的問題。
　　Hadoop是開源的分布式計算框架，也是目前使用較廣泛的云計算技術(shù)之一。其核心組件分布式文件系統(tǒng)可以實現(xiàn)海量數(shù)據(jù)的可靠存儲，MapReduce編程

3、模型可以通過并行化方式處理大規(guī)模數(shù)據(jù)，縮短數(shù)據(jù)處理時間，因此可以利用Hadoop平臺來解決上述問題。本文從如下方面進行了研究:
　　(1)基于地震波形數(shù)據(jù)文件的格式特征，對在Hadoop平臺上并行處理該類數(shù)據(jù)文件進行可行性分析。
　　(2)利用MapReduce并行編程模型思想，設(shè)計了與地震波形數(shù)據(jù)文件相匹配的輸入格式，提出并實現(xiàn)了批量地震波形數(shù)據(jù)文件的并行解壓縮算法。其中采用二次排序方法確定通道內(nèi)數(shù)據(jù)記錄的排列順序，保證解