大數(shù)據(jù)論文

1、大數(shù)據(jù)與計(jì)算機(jī)摘要摘要：隨著網(wǎng)絡(luò)信息化時(shí)代的日益普遍，移動(dòng)互聯(lián)，社交網(wǎng)絡(luò)，電子商務(wù)大大擴(kuò)展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，我們正處在一個(gè)數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時(shí)代，大數(shù)據(jù)在社會(huì)經(jīng)濟(jì)、政治、文化、人們生活等方面產(chǎn)生深遠(yuǎn)的影響，大數(shù)據(jù)對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)與機(jī)遇。一、大數(shù)據(jù)產(chǎn)生的背景一、大數(shù)據(jù)產(chǎn)生的背景早幾年人們把大規(guī)模數(shù)據(jù)稱為“海量數(shù)據(jù)”，但實(shí)際上，大數(shù)據(jù)(BigData)這個(gè)概念早在2008年就已被提出。2008年，在Goog

2、le成立10周年之際，著名的《自然》雜志出版了一期專刊，專門討論未來的大數(shù)據(jù)處理相關(guān)的一系列技術(shù)問題和挑戰(zhàn)，其中就提出了“BigData”的概念。進(jìn)入2012年以來，大數(shù)據(jù)(BigData)一次越來越多地被提及與使用，人們用它來描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，它已經(jīng)出現(xiàn)過在《紐約時(shí)報(bào)》、《華爾街日?qǐng)?bào)》的專欄封面，進(jìn)入美國白宮網(wǎng)的新聞，現(xiàn)身在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍中，甚至被嗅覺靈敏的國君證券、國泰君安、銀河證券等寫進(jìn)了投資推薦

3、報(bào)告、，大數(shù)據(jù)時(shí)代來臨了。有人說21世紀(jì)是數(shù)據(jù)信息時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，我們?cè)谙硎鼙憷耐瑫r(shí)，也無償?shù)刎暙I(xiàn)了自己的“行蹤”?，F(xiàn)在互聯(lián)網(wǎng)不但知道對(duì)面是一只狗，還知道這只狗喜歡什么食物，幾點(diǎn)出去遛彎，幾點(diǎn)回窩睡覺。我們不得不接受這個(gè)現(xiàn)實(shí)，每個(gè)人在互聯(lián)網(wǎng)進(jìn)入冬大數(shù)據(jù)時(shí)代時(shí)，都將是透明的存在。各種數(shù)據(jù)政治迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性帶來問題的隱患，按

4、時(shí)隨著時(shí)間的推移，人們將越來越多地意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性，大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了起那所謂有的空間與潛力。正如《紐約時(shí)報(bào)》2012年2月的一片專欄中所稱：“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，越策將日益基于數(shù)據(jù)和分析而做出，而并非基于經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里金說：“這是一場革命，龐大的數(shù)據(jù)資源使各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)

5、域都將開始這種進(jìn)程?！倍?、什么是大數(shù)據(jù)什么是大數(shù)據(jù)大數(shù)據(jù)(bigdata)，或稱巨量資料、海量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。進(jìn)一步，當(dāng)今大數(shù)據(jù)的重點(diǎn)其實(shí)已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，它更代表著信息技術(shù)發(fā)展進(jìn)入了一個(gè)新的時(shí)代，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計(jì)算技術(shù)和信息技術(shù)帶來的技術(shù)挑戰(zhàn)和困難，代表著大數(shù)據(jù)處理所需的新的技術(shù)和方法，

6、也應(yīng)，國內(nèi)幾乎所有著名的IT企業(yè)，如百度、騰訊、阿里巴巴、奇虎360等，都是大量需要大數(shù)據(jù)技術(shù)人才的公司四、四、大數(shù)據(jù)時(shí)代的人才需求大數(shù)據(jù)時(shí)代的人才需求許多企業(yè)充斥著大數(shù)據(jù)，這為了解和預(yù)測客戶喜好和市場發(fā)展提供了大好機(jī)會(huì)。因?yàn)樵诟偁幃惓＜ち业娜蚪?jīng)濟(jì)環(huán)境下，擁有正確的信息就意味著擁有競爭優(yōu)勢。不過這里有一個(gè)方面要注意。想成功地駕馭海量信息，公司就需要擁有相應(yīng)技能的人才能如愿以償。這些人要知道如何管理數(shù)據(jù)，建立分析系統(tǒng)，并且?guī)椭庾x數(shù)據(jù)。

7、下面是有望在大數(shù)據(jù)時(shí)代發(fā)揮作用的崗位：系統(tǒng)管理員負(fù)責(zé)集群的日常運(yùn)作，可能直接或間接地管理硬件部件，確定對(duì)額外應(yīng)硬件的需求，并且實(shí)際部署硬件，系統(tǒng)管理員的職責(zé)還包括檢測和配置。開發(fā)人員負(fù)責(zé)搭建平臺(tái)、開發(fā)新型應(yīng)用程序。開發(fā)人員可能更熟悉工具或算法，他們可能要編程、包裝、優(yōu)化或者部署不同的MapReduce事務(wù)。開發(fā)人員將收集和維護(hù)不同的代碼庫，他們的角色類似數(shù)據(jù)庫領(lǐng)域的數(shù)據(jù)庫管理員（DBA）。數(shù)據(jù)分析員數(shù)據(jù)科學(xué)家數(shù)據(jù)分析員和數(shù)據(jù)科學(xué)家其實(shí)屬

8、于同一類。這些專業(yè)人員運(yùn)用算法來解決分析問題，并且從事數(shù)據(jù)挖掘工作。數(shù)據(jù)分析員最大的本事就是能夠讓數(shù)據(jù)道出真相。此外，他們可能擁有某個(gè)領(lǐng)域的專長。他們將幫助開發(fā)數(shù)據(jù)產(chǎn)品，幫助開發(fā)推動(dòng)業(yè)務(wù)發(fā)展的數(shù)據(jù)解決方案。數(shù)據(jù)專員最終負(fù)責(zé)收集高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)專員匯總所有進(jìn)入企業(yè)的數(shù)據(jù)，并且編成目錄。企業(yè)里面存在著大量的數(shù)據(jù)，Hadoop可以將這些數(shù)據(jù)集中起來?！按髷?shù)據(jù)“是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多