面向自組織移動(dòng)云的存儲(chǔ)架構(gòu)關(guān)鍵技術(shù)研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興領(lǐng)域的蓬勃發(fā)展，人類社會(huì)正逐步從大數(shù)據(jù)時(shí)代向移動(dòng)大數(shù)據(jù)時(shí)代演進(jìn)。據(jù)統(tǒng)計(jì)，全球移動(dòng)手機(jī)占有率預(yù)計(jì)2020年達(dá)到28億，隨之產(chǎn)生的移動(dòng)數(shù)據(jù)規(guī)模以每年53％的速度指數(shù)增長，移動(dòng)數(shù)據(jù)在全球數(shù)據(jù)總量中所占比重逐年上升，將逐漸成為大數(shù)據(jù)的主體。為緩解快速增長的移動(dòng)數(shù)據(jù)規(guī)模與有限的移動(dòng)設(shè)備硬件資源之間的矛盾，業(yè)界近年開始研究如何將多臺移動(dòng)設(shè)備隨時(shí)隨地自組織成為移動(dòng)云，以實(shí)現(xiàn)端側(cè)處理海量移動(dòng)數(shù)據(jù)的目標(biāo)，這一模式稱之為自組織移

2、動(dòng)云(Ad-Hoc Mobile Cloud)。
　　數(shù)據(jù)的合理存儲(chǔ)和科學(xué)管理是保障自組織移動(dòng)云QoS的基礎(chǔ)，遺憾的是，目前關(guān)于移動(dòng)云存儲(chǔ)架構(gòu)的研究尚處于起步階段，相關(guān)工作主要基于傳統(tǒng)云存儲(chǔ)技術(shù)展開，無法充分利用移動(dòng)端復(fù)雜的軟硬件環(huán)境特征。這些特征主要包括:(1)移動(dòng)設(shè)備硬件環(huán)境與傳統(tǒng)服務(wù)器存在較大差異，例如閃存介質(zhì)對隨機(jī)讀寫的更好支持、無線通信帶寬遠(yuǎn)低于有線網(wǎng)絡(luò)等;(2)移動(dòng)數(shù)據(jù)多呈結(jié)構(gòu)化或半結(jié)構(gòu)化，且具有離散分布(Scatte

3、ring)、規(guī)模效應(yīng)(Scale-effect)、高安全性(Security)的特點(diǎn);(3)用戶需求發(fā)生了深刻變化，移動(dòng)用戶對交互實(shí)時(shí)性提出了更高要求，且更加關(guān)注數(shù)據(jù)存儲(chǔ)的安全隱私。
　　本文深入分析了自組織移動(dòng)云的場景特征，在此基礎(chǔ)上提出了更為“高效”和“安全”的存儲(chǔ)架構(gòu)。文章的主要工作和貢獻(xiàn)如下:
　　1.基于移動(dòng)設(shè)備的Hadoop移植與配置優(yōu)化
　　做為研究工作的第一步，本文實(shí)現(xiàn)了基于移動(dòng)設(shè)備的Hadoop框架移

4、植。部署過程中發(fā)現(xiàn)，移植到移動(dòng)平臺的云框架表現(xiàn)出嚴(yán)重的水土不服，性能方面受到很大影響。為此，本文設(shè)計(jì)提出了一套面向Hadoop移植的優(yōu)化策略，通過神經(jīng)網(wǎng)絡(luò)技術(shù)挖掘配置參數(shù)與移動(dòng)端軟硬件環(huán)境間的內(nèi)在關(guān)聯(lián)，有效提高了系統(tǒng)工作效率。本部分工作的意義在于:首先，發(fā)現(xiàn)并實(shí)踐了傳統(tǒng)云架構(gòu)到移動(dòng)端的移植部署方法，為進(jìn)一步研究打下基礎(chǔ);其次，通過大量實(shí)驗(yàn)，我們對移動(dòng)端數(shù)據(jù)存儲(chǔ)的性能表現(xiàn)和瓶頸所在有了更深入的了解;最后，測試和分析結(jié)果證明，面對分布式移動(dòng)

5、場景全新的硬件架構(gòu)和軟件環(huán)境，以Hadoop文件系統(tǒng)為代表的傳統(tǒng)云存儲(chǔ)架構(gòu)在設(shè)計(jì)上存在不足，無法實(shí)現(xiàn)移動(dòng)云高效、安全存儲(chǔ)的目標(biāo)。
　　2.基于自組織移動(dòng)集群的分布式鍵值存儲(chǔ)系統(tǒng)
　　移動(dòng)數(shù)據(jù)往往呈結(jié)構(gòu)化、半結(jié)構(gòu)化特點(diǎn)，分布式文件系統(tǒng)架構(gòu)對此類數(shù)據(jù)的存儲(chǔ)管理仍有不足。本文在前一部分工作的基礎(chǔ)上，設(shè)計(jì)提出了面向自組織移動(dòng)集群的輕量級分布式鍵值存儲(chǔ)系統(tǒng)LKSM。系統(tǒng)基于LSM-Tree索引結(jié)構(gòu)實(shí)現(xiàn)，并維護(hù)了全新的數(shù)據(jù)結(jié)構(gòu):彈性內(nèi)存

6、槽，在兩組件的緊密配合與協(xié)調(diào)工作下，LKSM有效緩解了閃存的寫敏感和I/O放大問題，同時(shí)大幅提高了數(shù)據(jù)存儲(chǔ)性能。實(shí)驗(yàn)表明，相較LevelDB存儲(chǔ)架構(gòu)，LKSM在移動(dòng)端具有更大優(yōu)勢(數(shù)據(jù)規(guī)模512MB時(shí)，讀、寫時(shí)間僅為LevelDB的30.12％和36.16％)。
　　3.基于屬性命名空間樹的數(shù)據(jù)存儲(chǔ)安全模型
　　以往研究工作主要關(guān)注存儲(chǔ)架構(gòu)的高效性，然而移動(dòng)數(shù)據(jù)與個(gè)人隱私息息相關(guān)，因此用戶對自組織移動(dòng)云提出了更高的安全性需求

7、。本文從用戶層、邏輯層、物理層三個(gè)層面剖析了分布式存儲(chǔ)架構(gòu)，發(fā)現(xiàn)了其中存在的安全隱患，進(jìn)而提出了一套基于屬性命名空間樹的數(shù)據(jù)存儲(chǔ)安全模型ANDS。通過引入命名空間屬性管理機(jī)制，ANDS以權(quán)限訪問控制和數(shù)據(jù)加密的方式實(shí)現(xiàn)了元數(shù)據(jù)與內(nèi)容數(shù)據(jù)的雙重防護(hù)。在此基礎(chǔ)上，本文提出了塊粒度的代理重加密策略，結(jié)合分布式存儲(chǔ)以塊為單位的特點(diǎn)，我們利用多設(shè)備同步重加密的方式有效緩解了安全保護(hù)帶來的性能開銷。
　　4.基于自相似原理的大規(guī)模邊緣設(shè)備負(fù)載

8、均衡策略
　　少數(shù)移動(dòng)設(shè)備在局域網(wǎng)內(nèi)自行組建網(wǎng)絡(luò)是易于管理的，然而移動(dòng)設(shè)備的持有量遠(yuǎn)超PC機(jī)，因此移動(dòng)集群規(guī)模的增長潛力遠(yuǎn)大于傳統(tǒng)云平臺。隨著SDN和NFV等技術(shù)的發(fā)展，廣義的邊緣設(shè)備規(guī)模更為龐大。因此，如何有效管理大規(guī)模移動(dòng)云集群成為了亟待解決的一項(xiàng)關(guān)鍵性問題。本文提出了基于自相似原理的負(fù)載均衡策略，并針對通信負(fù)載問題設(shè)計(jì)了任務(wù)分發(fā)算法Task Distributing和任務(wù)抓取算法Task Grasping，為大規(guī)模設(shè)備的資源