面向大數(shù)據(jù)處理的并行計(jì)算模型及性能優(yōu)化.pdf

1、隨著大數(shù)據(jù)時(shí)代的來臨，從并行機(jī)體系結(jié)構(gòu)、計(jì)算資源擴(kuò)展能力到工業(yè)界應(yīng)用模式都在發(fā)生顯著變化。上述變化為并行計(jì)算提供新的發(fā)展機(jī)遇，同時(shí)也帶來巨大的研究挑戰(zhàn)。其中架構(gòu)在硬件和軟件之間的并行計(jì)算模型是推動(dòng)大數(shù)據(jù)發(fā)展的核心技術(shù)之一。目前工業(yè)界已經(jīng)研究和開發(fā)多種大數(shù)據(jù)編程模型，并廣泛應(yīng)用在TB級(jí)甚至PB級(jí)的數(shù)據(jù)處理與分析上，而學(xué)術(shù)界正在嘗試和探索更抽象的大數(shù)據(jù)計(jì)算模型，來反映當(dāng)前并行機(jī)的屬性，揭示大數(shù)據(jù)任務(wù)中計(jì)算、通信和訪存行為的本質(zhì)特征，對(duì)各種主

2、流大數(shù)據(jù)處理系統(tǒng)進(jìn)行統(tǒng)一的理論分析，從而指導(dǎo)大數(shù)據(jù)應(yīng)用調(diào)優(yōu)。
　　本文從傳統(tǒng)并行計(jì)算模型、大數(shù)據(jù)編程模型和大數(shù)據(jù)計(jì)算模型的相關(guān)研究中，總結(jié)出大數(shù)據(jù)計(jì)算模型在理論上需要解決的三個(gè)基本問題:模型的三要素（機(jī)器參數(shù)、執(zhí)行行為、成本函數(shù)）問題、擴(kuò)展性與容錯(cuò)性問題和性能優(yōu)化問題。本文圍繞著這三個(gè)問題，一方面從理論上研究大數(shù)據(jù)計(jì)算模型及其性能優(yōu)化方法，另一方面在實(shí)際的大數(shù)據(jù)案例中應(yīng)用這些性能優(yōu)化方法。具體而言，本文的主要研究?jī)?nèi)容、貢獻(xiàn)和創(chuàng)新點(diǎn)

3、可概況為以下幾點(diǎn):
　　1.抽象出一個(gè)大數(shù)據(jù)計(jì)算模型:提出了一個(gè)面向大數(shù)據(jù)處理的并行計(jì)算模型p-DOT。p-DOT模型分為p階段，每個(gè)階段都由數(shù)據(jù)層D、計(jì)算層O和通信層T共同組成，采用矩陣的形式化描述;選取輸入數(shù)據(jù)規(guī)模w和機(jī)器數(shù)n作為主要的兩個(gè)參數(shù)，依照模型所定義的計(jì)算、通信和I/O行為共同構(gòu)造出時(shí)間成本函數(shù)，并以此推導(dǎo)出對(duì)一個(gè)給定的大數(shù)據(jù)任務(wù)和給定的環(huán)境負(fù)載，任務(wù)最短運(yùn)行時(shí)間所需的機(jī)器數(shù)n*和輸入數(shù)據(jù)規(guī)模的開方√w成正比。同時(shí)，

4、p-DOT模型具有擴(kuò)展性和容錯(cuò)性，對(duì)于一個(gè)軟件框架，如果其任何一個(gè)任務(wù)均可用p-DOT模型表示，那么該框架的處理范式是可擴(kuò)展和可容錯(cuò)的。
　　2.證明模型的成本函數(shù)、擴(kuò)展性和容錯(cuò)性:對(duì)于時(shí)間成本函數(shù)，通過對(duì)機(jī)器內(nèi)存大小、機(jī)器數(shù)和任務(wù)執(zhí)行時(shí)間的限制，使構(gòu)造出的函數(shù)更接近于實(shí)際，并通過大規(guī)模的MPI和MapReduce實(shí)驗(yàn)證明該函數(shù)及其推論的正確性;對(duì)于擴(kuò)展性，采用傳統(tǒng)并行計(jì)算性能評(píng)測(cè)標(biāo)準(zhǔn)中的等效率函數(shù)，證明了基于p-DOT模型的處理

5、范式是可擴(kuò)展的，但不是強(qiáng)可擴(kuò)展的;對(duì)于容錯(cuò)性，在輸入數(shù)據(jù)D都存放在永久性存儲(chǔ)設(shè)備的前提條件下，證明了基于p-DOT模型的處理范式是可容錯(cuò)的。
　　3.設(shè)計(jì)基于模型的優(yōu)化方法并應(yīng)用:針對(duì)p-DOT模型的數(shù)據(jù)層D、計(jì)算層O和通信層T，分別設(shè)計(jì)了利用數(shù)據(jù)復(fù)本、利用多核技術(shù)和利用部分同步策略的性能優(yōu)化方法。一方面，從理論上證明了1）利用數(shù)據(jù)復(fù)本不僅是大數(shù)據(jù)任務(wù)容錯(cuò)性的必要條件，也能有效地提高任務(wù)的I/O訪存性能;2）利用多核技術(shù)能在不增大