面向海量數(shù)據(jù)的高效天文交叉證認的研究.pdf

1、天文交叉證認是實現(xiàn)多波段數(shù)據(jù)融合的關鍵技術。經(jīng)過交叉證認形成的多波段或全波段數(shù)據(jù)蘊含了更多的可揭示天體物理本質(zhì)的信息,是加深對天體的認識、促進天文學新發(fā)現(xiàn)的關鍵。天文數(shù)據(jù)的海量性使其必須要依靠并行計算、分布式計算和海量數(shù)據(jù)處理等計算機技術加以解決。本文在前人研究的基礎上,針對多核處理器環(huán)境、大規(guī)模集群環(huán)境分別研究并實現(xiàn)了高效的并行交叉證認方法和分布式交叉證認方法,并在攻克它的主要性能瓶頸—過于頻繁、耗時的數(shù)據(jù)I／O操作方面取得了一定的突

2、破,真正實現(xiàn)了海量數(shù)據(jù)上的大規(guī)模交叉證認。
　　 本文首先研究設計了面向多核環(huán)境的并行交叉證認方法,應用HEALPix偽二維球面索引方法在加快數(shù)據(jù)查詢速度的同時實現(xiàn)了數(shù)據(jù)的區(qū)域劃分,降低了證認計算的時間復雜度。然后研究并解決了交叉證認的常見問題—邊界漏源問題,保證了結果的完全性。實驗表明,此方法對交叉證認計算的效率提升明顯。此后,針對該方法的最主要耗時環(huán)節(jié)—數(shù)據(jù)庫查詢操作進行了優(yōu)化,提出了基于限制生長模型的全新數(shù)據(jù)加載、計算流程

3、,以及任務分配調(diào)度的基本單元—最大生長塊,既降低了數(shù)據(jù)重復讀取率,又實現(xiàn)了對稀疏數(shù)據(jù)集中空白區(qū)域的過濾,使交叉證認的效率得以繼續(xù)提高。除此之外,通過理論分析結合實驗測試的方式對此并行交叉證認方法在HTM索引下的可行性進行了驗證,從而打破了對單一索引方式的依賴,保證了此方法的廣泛適應性。
　　 為了突破關系數(shù)據(jù)庫在處理海量數(shù)據(jù)時的性能制約,同時也為了滿足海量數(shù)據(jù)的存儲需求,本文繼續(xù)提出了基于MapReduce分布式并行計算模型及分

4、布式文件系統(tǒng)的交叉證認方法。算法設計上,依照MapReduce模型的特點,通過規(guī)劃數(shù)據(jù)在各節(jié)點間的分布,盡量地避免了交叉證認計算過程中的節(jié)點間通信,保證了接近線性的加速比。實驗顯示,在大規(guī)模數(shù)據(jù)集上此方法的性能遠遠優(yōu)于多核環(huán)境下基于關系數(shù)據(jù)庫的并行交叉證認算法,為今后在線實時交叉證認服務的實現(xiàn)打下了基礎。
　　 此外,本文提出的基于位運算的快速鄰域編碼計算算法不僅是高效交叉證認得以實現(xiàn)的一個基礎性保證,也對諸如錐形檢索等多種天文