已閱讀1頁，還剩68頁未讀， 繼續(xù)免費閱讀
版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、近年來，隨著信息技術(shù)的進一步發(fā)展，企業(yè)數(shù)字化進程的不斷加深，企業(yè)需要處理的數(shù)據(jù)也出現(xiàn)了爆發(fā)式的增長。為了提高企業(yè)的流程效率、盈利能力和產(chǎn)能，出現(xiàn)了一些列以云計算為代表的新技術(shù)。Hadoop是一個開源并行分布式計算平臺，屬于云計算中的PaaS服務(wù)層。Hadoop中的作業(yè)調(diào)度是指將系統(tǒng)中空閑的資源按一定調(diào)度策略分配給作業(yè)，調(diào)度策略的好壞關(guān)系到Hadoop集群的資源利用率、作業(yè)花費時間和集群的性能。
本文分析了Hadoop中的Map
2、Reduce和HDFS架構(gòu)，對Hadoop的調(diào)度過程以及如何編寫調(diào)度器進行了介紹。目前Hadoop平臺主要使用四種調(diào)度器，一是默認(rèn)的FIFO調(diào)度器，二是Fair調(diào)度器，三是Capacity調(diào)度器，四是推測式任務(wù)調(diào)度器，本文介紹了這幾種調(diào)度器的算法思想，在實驗的基礎(chǔ)上比較了四種調(diào)度器的性能，并分析了這些調(diào)度器的不足。
在此基礎(chǔ)上，本文給出一個作業(yè)調(diào)度方案，方案包括一個調(diào)度器和一個集群負(fù)載均衡算法，詳細(xì)介紹了算法的核心思想，算法偽
溫馨提示
- 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Hadoop的作業(yè)調(diào)度策略研究.pdf
- 基于Hadoop平臺的作業(yè)調(diào)度研究.pdf
- 基于Hadoop MapReduce的作業(yè)調(diào)度方法研究.pdf
- 基于Hadoop集群的作業(yè)調(diào)度算法的研究.pdf
- 基于Hadoop平臺的作業(yè)調(diào)度技術(shù)研究.pdf
- hadoop集群作業(yè)的調(diào)度研究
- 基于Hadoop的作業(yè)調(diào)度負(fù)載均衡算法研究.pdf
- 基于Hadoop平臺的作業(yè)調(diào)度算法優(yōu)化研究.pdf
- 基于Hadoop平臺的作業(yè)調(diào)度算法研究與改進.pdf
- 基于Hadoop的車聯(lián)網(wǎng)作業(yè)調(diào)度優(yōu)化問題研究.pdf
- 基于Hadoop作業(yè)內(nèi)計算任務(wù)調(diào)度優(yōu)化的研究.pdf
- 基于Hadoop的作業(yè)調(diào)度算法的研究和改進.pdf
- Hadoop平臺作業(yè)調(diào)度算法研究.pdf
- 基于MLFQ的Hadoop作業(yè)調(diào)度算法研究與優(yōu)化.pdf
- 基于Hadoop的MapReduce作業(yè)調(diào)度系統(tǒng)的研究與應(yīng)用.pdf
- Hadoop平臺下基于遺傳算法的作業(yè)調(diào)度研究.pdf
- Hadoop平臺下的作業(yè)調(diào)度算法的研究.pdf
- 基于任務(wù)特征與公平策略的Hadoop作業(yè)調(diào)度算法研究.pdf
- 作業(yè)感知的Hadoop集群網(wǎng)絡(luò)調(diào)度方法研究.pdf
- 基于Hadoop平臺的動態(tài)自適應(yīng)作業(yè)調(diào)度算法研究.pdf
評論
0/150
提交評論