賽博-物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究.pdf

1、賽博-物理空間作為信息空間和物理空間的融合，可以使得具有信息感知、信息交換以及計(jì)算能力的實(shí)體根據(jù)應(yīng)用需求互相關(guān)聯(lián)。這種實(shí)體間的關(guān)聯(lián)關(guān)系涵蓋了從物理域、信息域到社會(huì)域多維度的信息，具有大規(guī)模、分布、動(dòng)態(tài)等多種特性。在這樣一種融合空間中開展、開發(fā)應(yīng)用越來越成為科學(xué)工作者關(guān)注的話題。
　　在賽博-物理空間中，從信息感知的角度來講，需要面對大規(guī)模實(shí)體信息及實(shí)體間關(guān)系的分布式發(fā)現(xiàn)及聚合的挑戰(zhàn)。這里實(shí)體間關(guān)系包括了根據(jù)應(yīng)用需求從不同維度進(jìn)行描

2、述的信息，例如實(shí)體在物理空間中的相對位置關(guān)系、由和用戶相關(guān)的社會(huì)屬性所表達(dá)的邏輯關(guān)系等。而從信息聚合的角度來講，需要面對實(shí)體及實(shí)體間關(guān)系動(dòng)態(tài)性所帶來的挑戰(zhàn)。這里動(dòng)態(tài)性包括實(shí)體狀態(tài)變化、實(shí)體位置變化等引起的實(shí)體屬性值的動(dòng)態(tài)性，以及由此引起的實(shí)體間關(guān)聯(lián)關(guān)系的動(dòng)態(tài)性等。而從信息處理的角度來講，需要面對大規(guī)模異構(gòu)數(shù)據(jù)高效處理帶來的挑戰(zhàn)，包括特定類型大規(guī)模數(shù)據(jù)處理的設(shè)計(jì)，以及多樣化業(yè)務(wù)模式對大規(guī)模數(shù)據(jù)處理平臺(tái)需求方面的設(shè)計(jì)等。
　　本文從賽

3、博-物理空間應(yīng)用中如何進(jìn)行有效的信息聚合和高效的大規(guī)模數(shù)據(jù)處理兩個(gè)角度展開，研究如何高效地以分布式方式對實(shí)體間關(guān)系的發(fā)現(xiàn)，面向賽博-物理空間中實(shí)體及實(shí)體間的動(dòng)態(tài)性，研究如何滿足應(yīng)用對實(shí)體穩(wěn)定關(guān)系發(fā)現(xiàn)的需求，即如何有效構(gòu)建穩(wěn)定子網(wǎng)絡(luò)，針對數(shù)據(jù)處理需求如何進(jìn)行特定類型數(shù)據(jù)處理模型的設(shè)計(jì)，以及面向多樣化業(yè)務(wù)模式如何進(jìn)行數(shù)據(jù)處理平臺(tái)融合和任務(wù)調(diào)度優(yōu)化。
　　本文工作主要分為以下四個(gè)方面：
　　1.基于分布式聚合模型的低負(fù)載實(shí)體關(guān)系發(fā)

4、現(xiàn)機(jī)制：通過建立賽博-物理空間中分布式的關(guān)系發(fā)現(xiàn)模型，考慮到多重關(guān)系同時(shí)發(fā)現(xiàn)的需求，設(shè)計(jì)了基于生成樹的分布式關(guān)系發(fā)現(xiàn)算法MSTRD，使得賽博-物理空間中實(shí)體間關(guān)系從傳統(tǒng)的集中式發(fā)現(xiàn)轉(zhuǎn)變?yōu)榉植际桨l(fā)現(xiàn)，同時(shí)保證關(guān)系發(fā)現(xiàn)過程的高效性，即降低關(guān)系發(fā)現(xiàn)過程的數(shù)據(jù)傳輸量和時(shí)間耗費(fèi)。實(shí)驗(yàn)結(jié)果表明MSTRD方法不管是從關(guān)系發(fā)現(xiàn)過程中數(shù)據(jù)傳輸總量還是時(shí)間耗費(fèi)上來講都比集中式的處理方式性能更優(yōu)，最大數(shù)據(jù)傳輸量可節(jié)省1/3左右，同時(shí)在極端情況下可節(jié)省近一半的

5、時(shí)間耗費(fèi)。
　　2.面向分布式動(dòng)態(tài)聚合網(wǎng)絡(luò)的穩(wěn)定子網(wǎng)構(gòu)建機(jī)制：通過建立面向賽博-物理空間中應(yīng)用的分布式實(shí)體模型，設(shè)計(jì)了分布式的實(shí)體集合選擇算法MRMC，通過該分布式實(shí)體集合選擇算法，可以在實(shí)體集合規(guī)模增長有限的情況下提高實(shí)體間關(guān)系保持不變的時(shí)間RU T，即穩(wěn)定子網(wǎng)絡(luò)。大量的模擬實(shí)驗(yàn)對MRMC算法進(jìn)行了正確性和有效性驗(yàn)證，結(jié)果表明，MRMC算法可以對實(shí)體間關(guān)系保持不變時(shí)間RU T的提升最大達(dá)一倍左右。
　　3.基于矩陣抽象的賽

6、博-物理空間大規(guī)模數(shù)據(jù)處理框架：本文設(shè)計(jì)了面向矩陣運(yùn)算的通用計(jì)算框架MatrixMap，構(gòu)造了橫跨內(nèi)存和外存的可擴(kuò)展的數(shù)據(jù)結(jié)構(gòu)塊式鍵值矩陣BKM，設(shè)計(jì)了針對算法并行性的數(shù)據(jù)重組和異步計(jì)算的優(yōu)化策略，以及針對通用矩陣運(yùn)算的一元、二元操作符。實(shí)驗(yàn)結(jié)果表明，針對一些常見的圖處理算法，MatrixMap比Spark等流行系統(tǒng)在處理速度上最多可以快10倍左右。
　　4.面向賽博-物理空間應(yīng)用多樣化業(yè)務(wù)模式的大數(shù)據(jù)平臺(tái)融合技術(shù)：針對大數(shù)據(jù)處理

7、平臺(tái)的多樣性和繁雜性，通過分析當(dāng)前主流大數(shù)據(jù)處理平臺(tái)的優(yōu)劣，提出了對不同大數(shù)據(jù)處理平臺(tái)進(jìn)行融合的方案，設(shè)計(jì)了針對不同數(shù)據(jù)處理任務(wù)在融合系統(tǒng)內(nèi)的調(diào)度框架，設(shè)計(jì)了基于遺傳算法的任務(wù)分簇和調(diào)度優(yōu)化策略MMRC，進(jìn)而提高數(shù)據(jù)處理效率、降低資源耗費(fèi)。模擬實(shí)驗(yàn)結(jié)果表明，和單一系統(tǒng)處理相比，MMRC方法可以對任務(wù)的處理時(shí)間減少10％左右，資源耗費(fèi)僅占所有節(jié)點(diǎn)資源30%左右。
　　通過上述四個(gè)方面的研究,我們可以在很大程度上對賽博-物理空間中應(yīng)用