基于工作流的科學(xué)大數(shù)據(jù)查詢處理技術(shù)研究.pdf

1、近年來，隨著科學(xué)技術(shù)的快速發(fā)展，科學(xué)實驗儀器和科學(xué)觀測儀器的精度不斷得到提高，領(lǐng)域科學(xué)家得到的可以用于科學(xué)分析的數(shù)據(jù)，其規(guī)模是不斷變大；同時，由于科學(xué)分析的深度的不斷推進，科學(xué)分析計算的規(guī)模也在不斷的變大。如何提高領(lǐng)域?qū)W者進行科學(xué)大數(shù)據(jù)查詢的效率是一個非常有研究意義的工作。
　　本文構(gòu)建了一個輕量級的云平臺，并在其上搭建了一個可以用于科學(xué)數(shù)據(jù)查詢和管理的 SciDB集群。在此基礎(chǔ)上，本文的主要研究內(nèi)容包括：（1）科學(xué)大數(shù)據(jù)的存儲和

2、管理技術(shù)。針對目前國內(nèi)外科學(xué)大數(shù)據(jù)查詢處理的研究現(xiàn)狀，本論文通過研究MapReduce框架，以及現(xiàn)有的科學(xué)數(shù)據(jù)庫系統(tǒng)，提出使用SciDB作為科學(xué)大數(shù)據(jù)存儲和管理的工具。（2）科學(xué)數(shù)據(jù)庫數(shù)據(jù)加載技術(shù)。SciDB的數(shù)據(jù)加載響應(yīng)時間隨著數(shù)據(jù)量的增加急劇增長，針對這一情況，本論文提出了一種新型的數(shù)據(jù)加載技術(shù)。（3）采用工作流的思想，簡化復(fù)雜查詢語句的書寫，并設(shè)計了一個簡單的基于工作流的科學(xué)數(shù)據(jù)查詢系統(tǒng)的原型系統(tǒng)。（4）針對基于SciDB的批量工