Spark性能數(shù)據(jù)收集分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨著計(jì)算機(jī)信息技術(shù)的迅猛發(fā)展，分布式計(jì)算在行業(yè)內(nèi)得到了大力發(fā)展，Spark作為目前非常流行的分布式計(jì)算框架，已經(jīng)被開發(fā)者廣泛運(yùn)用于企業(yè)業(yè)務(wù)中。開發(fā)者希望了解 Spark作業(yè)程序運(yùn)行時(shí)集群底層的性能數(shù)據(jù)，從而掌握整個(gè) Spark集群的運(yùn)行情況，找出系統(tǒng)瓶頸，從而進(jìn)行性能調(diào)優(yōu)工作，提高計(jì)算效率，減少任務(wù)運(yùn)行時(shí)間。所以，開發(fā)一套 Spark性能數(shù)據(jù)收集分析系統(tǒng)對于開發(fā)者進(jìn)行性能優(yōu)化顯得尤為重要。
　　本文對 Spark性能數(shù)據(jù)收集分析

2、系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)做了詳細(xì)介紹。本文首先對于用戶需求進(jìn)行了詳細(xì)分析。之后根據(jù)功能性需求將系統(tǒng)的功能模塊劃分為配置與監(jiān)控、數(shù)據(jù)收集、數(shù)據(jù)處理與數(shù)據(jù)分析四個(gè)方面。本文設(shè)計(jì)并實(shí)現(xiàn)了所有功能模塊，最后設(shè)計(jì)了測試方案，給出了測試結(jié)論。
　　本系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的Spark性能數(shù)據(jù)收集系統(tǒng)基于Akka架構(gòu)，采用了主從節(jié)點(diǎn)的分布式設(shè)計(jì)思想，實(shí)現(xiàn)了分布式的性能數(shù)據(jù)收集處理功能。數(shù)據(jù)收集模塊通過運(yùn)行在子節(jié)點(diǎn)上的DSTAT監(jiān)控工具來進(jìn)行Spark性能數(shù)據(jù)的采

3、集存儲，保證了數(shù)據(jù)收集結(jié)果的正確性與實(shí)時(shí)性，同時(shí)這種設(shè)計(jì)模塊便于開發(fā)新的系統(tǒng)服務(wù)，具有很高的擴(kuò)展性。數(shù)據(jù)處理模塊對于Spark運(yùn)行日志與性能數(shù)據(jù)進(jìn)行解析，并將兩者的解析結(jié)果通過不同類型的統(tǒng)計(jì)圖進(jìn)行輸出展示。數(shù)據(jù)分析算法對于集群進(jìn)行狀態(tài)劃分，對資源空閑情況進(jìn)行分析，計(jì)算出未利用資源所占比例，同時(shí)將不同服務(wù)器上性能數(shù)據(jù)的差異轉(zhuǎn)化成歐氏距離計(jì)算出來，進(jìn)行負(fù)載平衡分析，給出自動化的分析報(bào)告，為開發(fā)者進(jìn)行性能調(diào)優(yōu)提供了直接的參考。
　　本文