基于R語言和Hadoop的集成技術(shù)及其實(shí)現(xiàn)研究.pdf

1、隨著數(shù)據(jù)規(guī)模在互聯(lián)網(wǎng)、生物、天文學(xué)等領(lǐng)域的爆炸性增長，如何有效地從這些大規(guī)模的數(shù)據(jù)集中獲取有價值信息的能力變得越發(fā)重要。R語言作為流行度最高的統(tǒng)計(jì)分析語言，它提供了豐富的數(shù)據(jù)統(tǒng)計(jì)功能，但卻無法有效的處理海量數(shù)據(jù)。針對這一問題，R語言在分布式計(jì)算平臺上運(yùn)行的需求急劇增加。所以設(shè)計(jì)一個能使R語言運(yùn)行在分布式計(jì)算平臺上的集成技術(shù)顯得尤為重要。
　　在Google發(fā)布了GFS，BigTable和MapReduce3篇論文之后，分布式計(jì)算便

2、的更加易于應(yīng)用，在普通的商用機(jī)器上就可運(yùn)行龐大的分布式運(yùn)算程序。Hadoop作為基于這3篇論文的一個開源的分布式計(jì)算平臺擁有良好的擴(kuò)展性，并提供充足的API供開發(fā)人員在其平臺上進(jìn)行計(jì)算程序的開發(fā)。將R語言與Hadoop集成既可解決R語言缺乏并行運(yùn)算能力的缺陷，又加強(qiáng)了Hadoop平臺大規(guī)模數(shù)據(jù)分析能力，可謂一舉兩得。
　　然而，R語言有一個缺點(diǎn)在于他并不支持并行計(jì)算，以如今的數(shù)據(jù)規(guī)模以及增長速度來看。如果不支持并行，這將成為R語言

3、運(yùn)行效率的瓶頸。為了提高R語言的運(yùn)行效率，就只有購買非常昂貴的超級計(jì)算機(jī)，這樣并不利于R語言的發(fā)展，也不是處理大規(guī)模增長數(shù)據(jù)的有效方式。而R與Hadoop的集成技術(shù)的實(shí)現(xiàn)，提供了一種支持并行分布式的R語言的方案，使得我們?nèi)匀豢梢允褂迷械腞語言語法，只需加入一些特有的函數(shù)便可以將R語言運(yùn)行在分布式的Hadoop節(jié)點(diǎn)上，這極大的提高的R語言對于大規(guī)模數(shù)據(jù)處理的實(shí)用性以及執(zhí)行效率。由于Hadoop節(jié)點(diǎn)可在普通的商用機(jī)器上運(yùn)行，這為R語言提供