集成CPU-GPU架構(gòu)上的列存儲連接優(yōu)化技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)時代的到來，企業(yè)數(shù)據(jù)爆發(fā)式增長。如何更好地支持海量數(shù)據(jù)的存儲、分析，已經(jīng)成為企業(yè)關(guān)注的重要問題。數(shù)據(jù)倉庫是用來存儲、分析海量數(shù)據(jù)的重要工具。傳統(tǒng)關(guān)系型數(shù)據(jù)庫以事務(wù)操作為核心，而數(shù)據(jù)倉庫更注重對海量數(shù)據(jù)的存儲、查詢與分析。相比于行存儲技術(shù)，列存儲技術(shù)因其在讀優(yōu)先環(huán)境中的優(yōu)勢，被更多的應(yīng)用于數(shù)據(jù)倉庫之中。由于列存儲系統(tǒng)可以支持列的獨立存儲、壓縮和其他操作，列存儲更利于讀優(yōu)化操作。
　　集成多核異構(gòu)CPU-GPU架構(gòu)已經(jīng)成為計

2、算機處理器芯片的發(fā)展趨勢，在商用計算機中，基于集成多核異構(gòu)CPU-GPU架構(gòu)的中央處理器已經(jīng)得到了較為廣泛的應(yīng)用。在這種趨勢下，研究數(shù)據(jù)倉庫軟件如何利用集成多核異構(gòu)CPU-GPU體系架構(gòu)處理器的性能優(yōu)勢極具價值。
　　本文主要研究集成多核異構(gòu)CPU-GPU架構(gòu)處理器上列存儲系統(tǒng)的連接原語優(yōu)化技術(shù)，并以我們實驗室自主研發(fā)的列存儲系統(tǒng)為基礎(chǔ)，研究了如何利用集成多核異構(gòu)CPU-GPU架構(gòu)的計算資源和性能優(yōu)勢優(yōu)化連接操作。主要工作如下：<

3、br>　　本文首先研究了基于列存儲系統(tǒng)的并行連接算法，針對OpenCL編程框架的特點，設(shè)計并實現(xiàn)了基于OpenCL的列存儲系統(tǒng)連接算法。除此之外，研究了GPU上的數(shù)據(jù)分組算法，并針對該算法空間開銷較大的問題做了相應(yīng)改進，提出了一種基于分組數(shù)統(tǒng)計的GPU數(shù)據(jù)分組算法。
　　其次，對使用GPU作協(xié)處理器加速數(shù)據(jù)查詢操作的方法進行了研究。之后，深入研究了基于集成CPU-GPU架構(gòu)的流水線協(xié)處理方案，并針對其無法動態(tài)改變數(shù)據(jù)配比的問題，提

4、出了一種動態(tài)數(shù)據(jù)分配策略。
　　再次，研究了實驗室自主研發(fā)的列存儲系統(tǒng)，并對其作出了改進，將本文提出的數(shù)據(jù)分配策略集成到該系統(tǒng)之上，使其可以充分利用集成CPU-GPU架構(gòu)處理器的計算資源，優(yōu)化連接操作。
　　最后，使用SSB測試基準(zhǔn)，驗證了本文提出的方法有效性。實驗結(jié)果表明，本文提出的方法使得兩表連接效率最大提高了33.2％，SSB測試基準(zhǔn)的標(biāo)準(zhǔn)查詢語句Q1.1的執(zhí)行時間縮短了9.81%，Q3.1執(zhí)行時間最高縮短了7.03%