車載環(huán)境下基于異構(gòu)Hadoop的云端存儲技術(shù)研究.pdf

1、車聯(lián)網(wǎng)正日益深入到生活，為我們提供各種各樣的服務。龐大的車聯(lián)網(wǎng)系統(tǒng)會產(chǎn)生海量數(shù)據(jù)，因此車聯(lián)網(wǎng)的云計算平臺就成為車聯(lián)網(wǎng)信息化的關(guān)鍵。一直以來Hadoop在云計算領域的表現(xiàn)突出，尤其是具有低成本和高效率的特性，其市場認可度越來越高。Hadoop集群的硬件環(huán)境在部署之初一般都是同構(gòu)的，但是隨著對集群硬件不斷的擴展、升級和改造，原來針對同構(gòu)硬件環(huán)境的存儲方案已難以滿足當前異構(gòu)集群的需求。針對該問題，本文研究了一種基于數(shù)據(jù)溫度和節(jié)點性能來改善異構(gòu)

2、Hadoop集群讀寫性能的方案，主要工作如下：
　　首先，為了更準確地獲取特定Hadoop應用場景下的集群節(jié)點性能，本文研究了一種基于多元線性回歸模型（Multivariable Linear Regression Model, MLRM）的節(jié)點性能計算方法。該方法首先利用基準性能測量工具獲取節(jié)點的磁盤讀寫速率、內(nèi)存的隨機訪問存取速率以及CPU的運算速率，其次建立節(jié)點性能和三個參數(shù)之間的線性回歸模型來計算各節(jié)點的性能。基于 Had

3、oop的實驗分析表明，本文所提出的模型計算的節(jié)點性能值與實驗所得節(jié)點性能值相吻合，驗證了前述模型的可行性。
　　其次，針對異構(gòu)Hadoop集群存儲性能下降的問題，本文研究了一種基于節(jié)點性能和數(shù)據(jù)溫度的存儲方法。該方法在Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System, HDFS）異構(gòu)存儲方案基礎上，考慮了同類型存儲介質(zhì)節(jié)點之間的性能差異，通過建立數(shù)據(jù)溫度和存儲策略之間的映射關(guān)系，將訪問頻度高