基于HBase的工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲策略研究.pdf

1、隨著物聯(lián)網(wǎng)技術(shù)的進(jìn)步，大量傳感器和智能終端被應(yīng)用于傳統(tǒng)工業(yè)領(lǐng)域，從而會帶來數(shù)據(jù)的海量增長。如何有效的管理海量數(shù)據(jù)以提高工業(yè)生產(chǎn)效率成為一個亟待解決的問題。而目前針對于海量工業(yè)實時數(shù)據(jù)的存儲與處理，傳統(tǒng)常規(guī)的解決辦法是采用集中式存儲系統(tǒng)，但集中式存儲系統(tǒng)當(dāng)面對工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)持續(xù)增長時，容量有限同時擴(kuò)展性不足；而傳統(tǒng)的分布式數(shù)據(jù)庫在容錯性以及數(shù)據(jù)一致性等方面又很難滿足工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲的需求。
　　經(jīng)過對大量存儲系統(tǒng)調(diào)研后，本文提出了

2、一種針對于海量工業(yè)實時數(shù)據(jù)的存儲管理辦法。依據(jù)工業(yè)數(shù)據(jù)相關(guān)特點，選取工業(yè)系統(tǒng)中常用的數(shù)據(jù)處理辦法實時庫作為適配層，實時庫能夠?qū)I(yè)采集數(shù)據(jù)執(zhí)行過濾、監(jiān)控以及緩存操作，同時保證工業(yè)數(shù)據(jù)能夠平滑地寫入HBase；選取開源HBase系統(tǒng)作為數(shù)據(jù)持久層來存儲工業(yè)系統(tǒng)中最終歸檔歷史數(shù)據(jù)，HBase的可擴(kuò)展性，容錯性，數(shù)據(jù)一致性，支持高并發(fā)查詢等性能能夠保證工業(yè)數(shù)據(jù)的高效管理；最后提出了存儲后再離線壓縮的方案，使得工業(yè)系統(tǒng)能夠更加靈活的實現(xiàn)動態(tài)可控