基于HDFS的數(shù)據(jù)安全保護機制研究.pdf

1、隨著數(shù)據(jù)成為一個重要的經(jīng)濟資源，它的安全性、隱私性和正確使用越來越重要。但是目前身份認(rèn)證，訪問控制，異常檢測，安全信息和事件管理等國內(nèi)外主要的大數(shù)據(jù)安全與隱私的解決方案并沒有對數(shù)據(jù)的生命周期和用戶行為進行精確的追蹤。溯源通過記錄數(shù)據(jù)產(chǎn)品的演變過程，形成能準(zhǔn)確表達數(shù)據(jù)特征和對象歷史的元數(shù)據(jù)，為數(shù)據(jù)密集系統(tǒng)中的復(fù)雜數(shù)據(jù)分析與理解提供結(jié)構(gòu)化的指導(dǎo)依據(jù)。
　　本文以數(shù)據(jù)庫系統(tǒng)和分布式文件系統(tǒng) HDFS為數(shù)據(jù)密集系統(tǒng)，數(shù)據(jù)庫文件表和 HDF

2、S文件為研究對象，在深入分析國內(nèi)外數(shù)據(jù)溯源系統(tǒng)和溯源模型，探討數(shù)據(jù)溯源在大數(shù)據(jù)溯源方面面臨的問題與挑戰(zhàn)之后，提出將數(shù)據(jù)溯源應(yīng)用到大數(shù)據(jù)安全解決方案中，并設(shè)計了大數(shù)據(jù)溯源系統(tǒng)具體實現(xiàn)方案。
　　本文設(shè)計實現(xiàn)的大數(shù)據(jù)安全溯源系統(tǒng)分為溯源收集及其標(biāo)準(zhǔn)化、溯源壓縮、存儲中間件和可視化分析四個組件。溯源收集及其標(biāo)準(zhǔn)化組件針對不同的源數(shù)據(jù)系統(tǒng)，設(shè)計了兼容的標(biāo)準(zhǔn)數(shù)據(jù)采集格式；并實現(xiàn)了數(shù)據(jù)的遠(yuǎn)程安全采集，數(shù)據(jù)版本控制，以及源數(shù)據(jù)記錄到模型的完整映

3、射。溯源壓縮組件提出了基于語義的高效的壓縮算法解決元數(shù)據(jù)高效存儲的問題。通過對數(shù)據(jù)系統(tǒng)的記錄特征進行深入分析，識別無效數(shù)據(jù)的基本特征并進行過濾，節(jié)省了數(shù)據(jù)空間；識別重復(fù)或相似操作的基本特征，對大量相似操作進行了合并，在減輕系統(tǒng)存儲負(fù)載的同時，減輕了數(shù)據(jù)分析的復(fù)雜度，優(yōu)化了數(shù)據(jù)可視化的速度。存儲中間件組件設(shè)計了大數(shù)據(jù)溯源信息存儲的可擴展方案，支持不同數(shù)據(jù)庫系統(tǒng)的接入，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)備份和遷移?？梢暬治鼋M件實現(xiàn)了大數(shù)據(jù)