一種基于MPI和MapReduce的分布式向量計(jì)算框架的研究與實(shí)現(xiàn).pdf

1、機(jī)器學(xué)習(xí)是近20年來(lái)興起的多領(lǐng)域交叉學(xué)科，涉及多門(mén)學(xué)科，諸如概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析等等。機(jī)器學(xué)習(xí)算法目前已經(jīng)有了廣泛的應(yīng)用，例如數(shù)據(jù)挖掘、自然語(yǔ)言處理、搜索引擎等等。當(dāng)前各種機(jī)器學(xué)習(xí)算法已經(jīng)有開(kāi)源的單機(jī)實(shí)現(xiàn)，但是隨著互聯(lián)網(wǎng)的高速發(fā)展，用戶(hù)數(shù)據(jù)量急劇增加，單機(jī)實(shí)現(xiàn)已經(jīng)不能滿(mǎn)足工業(yè)界的需求，為了滿(mǎn)足算法的高性能實(shí)現(xiàn)，開(kāi)發(fā)人員需要利用MPI，Hadoop/MapReduce等計(jì)算框架開(kāi)發(fā)并行程序。
　　 MPI效率高，編程靈活

2、，擴(kuò)展性好，適合高性能計(jì)算，然而也存在一些缺點(diǎn):MPI接口眾多，學(xué)習(xí)成本高;當(dāng)前使用MPI實(shí)現(xiàn)高性能程序時(shí)，往往需要考慮數(shù)據(jù)切分、網(wǎng)絡(luò)通信等問(wèn)題，缺少類(lèi)似MapReduce的計(jì)算模型，增加了程序員的負(fù)擔(dān);算法實(shí)現(xiàn)專(zhuān)有化不利用代碼復(fù)用，缺少統(tǒng)一抽象的分布式數(shù)據(jù)結(jié)構(gòu);程序容錯(cuò)性較差。
　　 針對(duì)以上缺點(diǎn)，本論文綜述了MPI容錯(cuò)方案和MapReduce的應(yīng)用與改進(jìn)，結(jié)合抽象向量接口設(shè)計(jì)，提出了一種MPI下基于向量和MapReduce的