基于Hadoop的公安系統(tǒng)信息存儲平臺.pdf

1、隨著信息化水平不斷提升,在公安部門內(nèi)部,各種數(shù)據(jù)信息、文件、視頻資料都需要存儲。各個部門都購買存儲設(shè)備用于存儲這些數(shù)據(jù)資源,昂貴的存儲設(shè)備的購買加大了運營成本,而且又無法滿足存儲資源的共享需求。因為存儲設(shè)備的地理位置分散,要實現(xiàn)數(shù)據(jù)資源共享,就必然要利用網(wǎng)絡(luò)實現(xiàn)數(shù)據(jù)傳輸,網(wǎng)絡(luò)信息存儲系統(tǒng)已經(jīng)逐漸成為公安部門高效運作的一個核心技術(shù)平臺。但是由于網(wǎng)絡(luò)的各種不安全、不穩(wěn)定因素和公安系統(tǒng)部門的工作特性,網(wǎng)絡(luò)信息存儲系統(tǒng)就需要具有很高的工作性能,

2、其中包括安全的數(shù)據(jù)訪問、穩(wěn)定的數(shù)據(jù)傳輸和存儲擴展能力。因此如何對已有的存儲設(shè)備進行整合利用,提供一個節(jié)約資源又安全可靠的信息存儲平臺成為公安系統(tǒng)面臨的一大難題。
　　云存儲由分布式文件系統(tǒng)、網(wǎng)絡(luò)傳輸、集群應(yīng)用、虛擬化存儲等技術(shù)構(gòu)成,把分布在網(wǎng)絡(luò)上的各種存儲設(shè)備整合成為一個資源池,作為一個服務(wù)體系對外提供統(tǒng)一的接口。采用云存儲技術(shù)以后,對于用戶來說,就不單是使用某個具體的存儲設(shè)備,而是分布在網(wǎng)絡(luò)上的多個存儲設(shè)備的集合體。這樣不僅可以

3、有效整合存儲設(shè)備資源,還可以提高存儲的便捷性和資源共享。Hadoop就是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的云存儲軟件框架,提供了一種安全可靠、高效、可伸縮的方式存儲數(shù)據(jù)。
　　本文分析了公安系統(tǒng)部門的資源存儲狀況,同時分析了云存儲的現(xiàn)狀和Hadoop的架構(gòu),然后深入的研究了系統(tǒng)內(nèi)部的工作原理和功能特征,在此基礎(chǔ)上,提出了一個基于Hadoop的信息存儲系統(tǒng)方案。信息存儲系統(tǒng)的底層是Hadoop分布式文件系統(tǒng),這個文件系統(tǒng)將一個大文件

4、分割成為了若干個數(shù)據(jù)塊,分別存儲在保存數(shù)據(jù)的數(shù)據(jù)節(jié)點上。由于每個數(shù)據(jù)塊都有若干個相同的副本數(shù)據(jù)塊,所以當數(shù)據(jù)塊發(fā)生錯誤的時候,系統(tǒng)會自動的用另外一個完整的數(shù)據(jù)塊副本取代當前出錯的數(shù)據(jù)塊,同時將出錯的數(shù)據(jù)塊上報給名字節(jié)點進行處理,這種機制保證了系統(tǒng)中數(shù)據(jù)的完整性。
　　與傳統(tǒng)的信息存儲系統(tǒng)不同,基于Hadoop的信息存儲平臺的用戶是分散在各個不同地方、不同部門的,用戶在上傳數(shù)據(jù)資源的時候,都儲存在了一個共同的海量的存儲池里面。當用戶

5、需要查找需要的資源時,可以自由的從存儲平臺中下載下來,就省去了傳統(tǒng)的信息溝通不暢和數(shù)據(jù)時效性問題。信息系統(tǒng)部署在了基于Linux操作系統(tǒng)的機器集群上,默認的操作管理接口是命令行方式的,如果不是專業(yè)的人員,就很難掌握操作。該系統(tǒng)主要利用Hadoop實現(xiàn)存儲層的技術(shù)支撐,用戶層采用Web開發(fā)相關(guān)技術(shù)實現(xiàn)用戶與存儲層進行交互。最終為工作人員提供友好的接口來訪問系統(tǒng),工作人員在不需要了解底層技術(shù)細節(jié)的情況下,就可以使用一個基于云存儲的信息存儲系