面向Hadoop的安全機制設(shè)計.pdf

1、近幾年，隨著信息的爆炸式增長，大數(shù)據(jù)時代來臨，作為海量數(shù)據(jù)存儲與計算的Hadoop技術(shù)逐漸成為熱門應用，Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，相較于企業(yè)傳統(tǒng)的通過購買昂貴的、高性能的大型服務(wù)器來對大量數(shù)據(jù)進行處理，Hadoop更具性價比，因為它可以搭建運行在廉價的商用機器集群上，通過分布式數(shù)據(jù)存儲和計算框架來完成對大數(shù)據(jù)的存儲計算。正是因為Hadoop自身所具有的高可靠性、高擴展性、高效性、高容錯性等優(yōu)點，它

2、逐漸成為大企業(yè)及研究機構(gòu)的研究焦點。
　　但隨著Hadoop應用的擴大加深，其安全問題也日益凸顯，Hadoop在數(shù)據(jù)存儲及數(shù)據(jù)處理等技術(shù)領(lǐng)域存在的不安全因素，讓許多亟待使用它的企業(yè)望而卻步。
　　本文從Hadoop2.0版本中的核心子項目HDFS和YARN入手，分析其在服務(wù)過程中的認證和授權(quán)機制，對當前所采用的基于Kerberos和基于非對稱加密的Token認證機制、傳輸加密機制、基于Linux/Unix系統(tǒng)自帶的訪問控制機

3、制進行了詳細的分析，歸納這些安全措施在安全性及效率性兩方面存在的缺陷，并在此基礎(chǔ)上提出了新的安全框架。
　　本文的創(chuàng)新點：
　　1、本文提出將基于PKI的數(shù)字證書認證技術(shù)代替原有的Kerberos認證，并利用基于非對稱加密的公私鑰原理設(shè)計全新的、更加安全、更加有效的認證令牌。
　　2、將基于數(shù)字信封的AES對稱加密技術(shù)應用到Hadoop2.0安全傳輸加密中，兼顧了Hadoop數(shù)據(jù)傳輸過程中的安全性和效率性。