面向結構安全監(jiān)測的SQL與NoSQL集成查詢中間件的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的快速發(fā)展，人們正在進入大數(shù)據(jù)時代:新的數(shù)據(jù)來源渠道不斷出現(xiàn)，數(shù)據(jù)復制和傳輸更加容易，不斷積壓的歷史數(shù)據(jù)有待存儲和處理?，F(xiàn)有的關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫存儲方案各具優(yōu)勢，所以SQL與NoSQL混合數(shù)據(jù)庫方案應運而生。但這種存儲方案需要將同一應用的數(shù)據(jù)進行分離，根據(jù)數(shù)據(jù)特點分開存儲于SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫中，所以涉及到多個異構數(shù)據(jù)源的管理問題。本文正是在以上背景下對SQL與NoSQL集成查詢的關鍵技術進行研究。

2、r>　　本文首先介紹了結構安全監(jiān)測領域的存儲架構面臨的分布式問題，說明SQL與NoSQL集成查詢中間件的研究意義。通過分析近幾年國內外存儲架構的現(xiàn)狀和發(fā)展趨勢提出了本文的研究方向。然后重點研究了SQL與NoSQL集成查詢的方案，總結出了SQL主庫查詢方案與獨立中間件方案相結合的SQL與NoSQL集成查詢中間件的架構。針對架構需求中的NoSQL數(shù)據(jù)關系化進行研究，通過分析直接型NoSQL數(shù)據(jù)三元組化算法的缺陷，設計一種基于預查詢的NoSQ

3、L數(shù)據(jù)轉化方案;針對架構需求中的NoSQL數(shù)據(jù)重建進行研究，分析等值連接重建算法的缺陷，設計一種基于預篩選的NoSQL數(shù)據(jù)重建方案。接著，利用改進后的新方案對SQL與NoSQL集成查詢中間件進行實現(xiàn)，使用戶能夠透明地訪問異構數(shù)據(jù)源。最后，搭建測試平臺，對中間件的功能、NoSQL數(shù)據(jù)轉化算法以及NoSQL查詢模式轉化算法進行測試，對比分析原算法與新方案的性能區(qū)別。
　　實驗表明，本文設計的SQL與NoSQL集成查詢中間件架構是可行的