內(nèi)存計算框架性能優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、博士研究生學(xué)位論文(國家自然科學(xué)基金)新疆大學(xué)論文題目論文題目(中文中文)：內(nèi)存計算框架性能優(yōu)化關(guān)鍵技術(shù)研究內(nèi)存計算框架性能優(yōu)化關(guān)鍵技術(shù)研究論文題目論文題目(外文外文)：ResearchonSignificantTechnologiesofPerfmanceOptimizationonInmemyComputingFramewk研究生姓名：卞名：卞琛學(xué)科、專業(yè)：計算機(jī)應(yīng)用技術(shù)業(yè)：計算機(jī)應(yīng)用技術(shù)研究方向：內(nèi)存計算向：內(nèi)存計算導(dǎo)師姓名職稱：

2、于姓名職稱：于炯教授教授論文答辯日期年月日學(xué)位授予日期年月日新疆大學(xué)博士學(xué)位論文摘要ii存計算框架并行度推斷算法，通過分析任務(wù)并行度與作業(yè)執(zhí)行效率的關(guān)系，提出并行度推斷算法的問題定義；綜合輸入數(shù)據(jù)量、計算資源和附加開銷等多個參數(shù)，計算出具有最大化資源利用率和最優(yōu)狀態(tài)同步的任務(wù)并行度，對作業(yè)的各個Stage進(jìn)行優(yōu)化調(diào)度，加速作業(yè)執(zhí)行并提高計算能效。（5）提出基于分配適應(yīng)度的漸進(jìn)填充分區(qū)映射算法。針對異構(gòu)環(huán)境下Shuffle過程數(shù)據(jù)分配與節(jié)

3、點計算能力嚴(yán)重不符的問題，提出Shuffle過程的漸進(jìn)填充分區(qū)映射算法；建立Shuffle過程模型，分析分配數(shù)據(jù)量與原始數(shù)據(jù)分布的聯(lián)系；通過擴(kuò)展式分區(qū)和多輪漸進(jìn)填充映射，建立適應(yīng)節(jié)點計算能力的數(shù)據(jù)分配方案，有效縮減Shuffle過程的同步延時，提高集群計算效率。（6）提出了基于回歸檢測的內(nèi)存重復(fù)數(shù)據(jù)刪除算法。為提高內(nèi)存計算框架堆外存儲區(qū)的利用率，提出一種基于滑動塊回歸檢測的內(nèi)存重復(fù)數(shù)據(jù)刪除算法，通過未匹配數(shù)據(jù)進(jìn)行回歸檢測，對比未匹配塊的

4、結(jié)構(gòu)變化確定刪冗操作類型，根據(jù)不同的操作類型選擇執(zhí)行折半匹配算法或二次滑動窗口檢測算法，達(dá)到刪除未匹配塊內(nèi)重復(fù)數(shù)據(jù)的目的，提高內(nèi)存資源的使用效率。本文研究得到國家自然科學(xué)基金項目《基于內(nèi)存計算的遙感數(shù)據(jù)高效并行和任務(wù)調(diào)度研究，編號為：61562086》以及新疆維吾爾自治區(qū)自然科學(xué)基金項目《云計算服務(wù)模型及服務(wù)可靠性的研究，編號為：2011211A011》的資助。關(guān)鍵詞關(guān)鍵詞：內(nèi)存計算，集群性能，Spark，Shuffle優(yōu)化，資源配置，