基于壓縮網(wǎng)絡編碼的WSN流式計算技術研究.pdf

1、在大范圍部署的無線傳感器網(wǎng)絡(WSN)中，節(jié)點產生大量實時的環(huán)境特征數(shù)據(jù)流，而如何從這些大規(guī)模實時數(shù)據(jù)流中高效地發(fā)現(xiàn)異常數(shù)據(jù)正是流式計算的重要研究內容。對此，本文提出了在Spark Stream上構建WSN流式計算系統(tǒng)以檢測異常環(huán)境特征數(shù)據(jù);為優(yōu)化數(shù)據(jù)流的傳輸和計算效率，本文引入了壓縮網(wǎng)絡編碼技術，旨在改進大數(shù)據(jù)環(huán)境下的系統(tǒng)數(shù)據(jù)處理性能。本文主要研究內容如下:
　　首先，設計實現(xiàn)了WSN的末梢數(shù)據(jù)終端以感知測量環(huán)境特征數(shù)據(jù)，包括各

2、類節(jié)點的物理結構和網(wǎng)絡拓撲;還分析了節(jié)點間的基礎數(shù)據(jù)傳輸模型和協(xié)議。WSN末梢數(shù)據(jù)終端網(wǎng)絡規(guī)劃為環(huán)帶結構，各環(huán)帶內按簇匯聚數(shù)據(jù)并向上傳輸，形成廣義蝶形網(wǎng)絡以獲得壓縮網(wǎng)絡編碼增益。
　　其次，構建了流式計算平臺來快速發(fā)現(xiàn)異常數(shù)據(jù)，該平臺通過數(shù)據(jù)云網(wǎng)關接收WSN末梢數(shù)據(jù)終端匯聚的原始環(huán)境特征數(shù)據(jù)流，將同步后的數(shù)據(jù)記錄推送到Spark Stream上的流式k-means程序中實時聚類，以快速發(fā)現(xiàn)大批數(shù)據(jù)流中的異常類簇。
　　然后，

3、改進了k-means算法的微批內聚類更新方式。提出在Spark上實現(xiàn)k-means安全區(qū)間更新優(yōu)化算法，削減單個微批數(shù)據(jù)流中的流式計算時間，使系統(tǒng)及時響應數(shù)據(jù)流累積后的聚類模型更新。
　　最后，在系統(tǒng)的傳輸和處理階段分別引入壓縮網(wǎng)絡編碼和譯碼重構技術。傳輸階段中，壓縮鏈路傳輸流量，以提高系統(tǒng)傳輸效率;處理階段中，利用Spark框架實現(xiàn)解碼重構計算，充分利用大數(shù)據(jù)框架的計算性能，減少WSN節(jié)點性能消耗。
　　本文形成了一個在大