大數(shù)據(jù)職業(yè)發(fā)展方向

1、大數(shù)據(jù)職業(yè)發(fā)展方向大數(shù)據(jù)職業(yè)發(fā)展方向一、大數(shù)據(jù)的概念及特點：大數(shù)據(jù)本身就是一個很抽象的概念，提及大數(shù)據(jù)很多人也只能從數(shù)據(jù)量上去感知大數(shù)據(jù)的規(guī)模，大數(shù)據(jù)被定義為“代表著人類認知過程的進步，數(shù)據(jù)集的規(guī)模是無法在可容忍的時間內(nèi)用目前的技術(shù)、方法和理論去獲取、管理、處理的數(shù)據(jù)。大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，是近來研究的一個技術(shù)熱點。大數(shù)據(jù)具有以下4個特點，即4個“V”：(1)數(shù)據(jù)體量(Volumes)巨大。大型數(shù)據(jù)集，

2、從TB級別，躍升到PB級別。(2)數(shù)據(jù)類別(Variety)繁多。數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。(3)價值(Value)密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅一兩秒鐘。(4)處理速度(Velocity)快。包含大量在線或?qū)崟r數(shù)據(jù)分析處理的需求，1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板

3、電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。二、大數(shù)據(jù)處理流程：從大數(shù)據(jù)的特征和產(chǎn)生領(lǐng)域來看，大數(shù)據(jù)的來源相當(dāng)廣泛，由此產(chǎn)生的數(shù)據(jù)類型和應(yīng)用處理方法千差萬別。但是總的來說，大數(shù)據(jù)的基本處理流程大都是一致的。整個處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。三、大數(shù)據(jù)分解結(jié)構(gòu)：第一層面是理論，理論是認知的必經(jīng)途徑，也是被廣泛認同和傳播的基線。我會從大數(shù)據(jù)的特征定義理解行

4、業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；從對大數(shù)據(jù)的現(xiàn)在和未來去洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。我將分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。。2、分布式處理技術(shù)：——分布式處理系統(tǒng)可以將不

5、同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)這就是分布式處理系統(tǒng)的定義。目前最常用的是Hadoop技術(shù)，Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop用到的一些技術(shù)有：HDFS:Hadoop分布式文件系統(tǒng)（DistributedFileSystem）HDFS（Had

6、oopDistributedFileSystem）MapReduce:并行計算框架HBase:類似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫。Hive:數(shù)據(jù)倉庫工具。Zookeeper:分布式鎖設(shè)施，提供類似GoogleChubby的功能。Avro:新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口。Ambari:Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集

7、群。Sqoop:用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞。3、存儲技術(shù)——大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。4、感知技術(shù)——大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋識別技術(shù)，RFID技術(shù)，坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。五、大數(shù)據(jù)人才方向：目前，大數(shù)據(jù)方面主要有五大人才方向：※大數(shù)據(jù)核心研發(fā)方向（系統(tǒng)研發(fā)）；※大數(shù)據(jù)性能調(diào)優(yōu)