面向Storm的數(shù)據(jù)流編程模型與優(yōu)化方法研究.pdf

1、分布式計(jì)算框架利用廉價(jià)PC構(gòu)建多核集群解決了大規(guī)模并行計(jì)算問題，但是在分布式計(jì)算框架上編程需要考慮程序子任務(wù)間的負(fù)載均衡和通信同步開銷，編程難度大。數(shù)據(jù)流編程模型作為面向特定領(lǐng)域的編程模型，它將程序的計(jì)算與通信分離，暴露了應(yīng)用程序潛在的并行性并簡(jiǎn)化了編程難度。但由于分布式架構(gòu)下的多核集群含有層次性存儲(chǔ)結(jié)構(gòu)和處理單元，這為數(shù)據(jù)流程序的性能提出了新的挑戰(zhàn)，并且數(shù)據(jù)流程序在分布式架構(gòu)下的可編程性也為數(shù)據(jù)流編譯器提出了更高的要求。
　　針

2、對(duì)數(shù)據(jù)流程序在分布式架構(gòu)下所面臨的問題，設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)流編程模型和分布式計(jì)算框架的結(jié)合——在COStream的基礎(chǔ)上提出了面向Storm的編譯優(yōu)化框架。面向 Storm的編譯優(yōu)化方法包括二個(gè)步驟：面向 Storm的層次性任務(wù)劃分與調(diào)度，以及面向Storm的層次性軟件流水與代碼生成。層次性任務(wù)劃分利用Storm的任務(wù)調(diào)度機(jī)制將程序所有子任務(wù)分配到 Storm集群節(jié)點(diǎn)內(nèi)的多核上，根據(jù)劃分目標(biāo)平臺(tái)的不同可分為集群節(jié)點(diǎn)間的任務(wù)劃分和節(jié)點(diǎn)內(nèi)多核