海量頻譜監(jiān)測(cè)數(shù)據(jù)的傳輸存儲(chǔ)與調(diào)度技術(shù)研究.pdf

1、隨著無線電技術(shù)的發(fā)展和移動(dòng)互聯(lián)網(wǎng)的興起，大量的便攜可移動(dòng)的監(jiān)測(cè)終端逐漸成為頻譜監(jiān)測(cè)的主力，由監(jiān)測(cè)網(wǎng)規(guī)模的擴(kuò)大而帶來了一系列數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析處理的問題。本文正是在此背景下，從頻譜數(shù)據(jù)的角度出發(fā)，展開了對(duì)網(wǎng)絡(luò)擁塞情況下的數(shù)據(jù)傳輸，海量頻譜數(shù)據(jù)文件的存儲(chǔ)，以及對(duì)大量頻譜數(shù)據(jù)分析處理任務(wù)的調(diào)度研究，為未來的頻譜監(jiān)測(cè)提供了思路。
　　本文首先根據(jù)頻譜監(jiān)測(cè)系統(tǒng)的總體要求，提出了一種面向大數(shù)據(jù)高并發(fā)的分布式服務(wù)集群架構(gòu)，根據(jù)功能角色

2、的不同將服務(wù)器劃分成監(jiān)控服務(wù)器、文件服務(wù)器、數(shù)據(jù)庫服務(wù)器、計(jì)算服務(wù)器、web服務(wù)器，每種服務(wù)器都能以集群的方式提供服務(wù)，有效的增強(qiáng)了系統(tǒng)的服務(wù)能力和擴(kuò)展性。
　　其次在該系統(tǒng)的基礎(chǔ)上，本文提出了一種基于數(shù)據(jù)傳輸時(shí)延及數(shù)據(jù)優(yōu)先級(jí)、監(jiān)測(cè)終端類型和工作狀態(tài)的擁塞控制機(jī)制，使用該機(jī)制各監(jiān)測(cè)終端能夠在出現(xiàn)網(wǎng)絡(luò)擁塞的情況下根據(jù)擁塞程度自動(dòng)對(duì)文件抽取以控制數(shù)據(jù)的發(fā)送速率，從而在緩解網(wǎng)絡(luò)擁塞的同時(shí)也能維持良好的監(jiān)測(cè)效果。
　　對(duì)于系統(tǒng)中產(chǎn)生

3、的海量頻譜數(shù)據(jù)的存儲(chǔ)，本文使用基于Redis和MongoDB的非關(guān)系型數(shù)據(jù)庫構(gòu)成的分布式存儲(chǔ)系統(tǒng)。使用Redis構(gòu)建分布式緩存解決了高并發(fā)情況下監(jiān)測(cè)終端實(shí)時(shí)數(shù)據(jù)寫入問題，利用其在內(nèi)存中緩存最新數(shù)據(jù)加快了數(shù)據(jù)分析時(shí)的讀寫速度。通過MongoDB數(shù)據(jù)庫的自動(dòng)分片和靈活擴(kuò)展特性實(shí)現(xiàn)了頻譜數(shù)據(jù)的持久化存儲(chǔ)。
　　最后，針對(duì)當(dāng)前頻譜監(jiān)測(cè)系統(tǒng)中遠(yuǎn)程讀取文件數(shù)據(jù)耗時(shí)較長(zhǎng)的問題，本文提出了一種基于任務(wù)分類的動(dòng)態(tài)延遲調(diào)度算法，該算法使用模糊綜合評(píng)價(jià)