大數(shù)據(jù)-信息檢索論文

1、1淺談大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)淺談大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)王濤（信管110502220）摘要：摘要：計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新興服務(wù)促使人類社會的數(shù)據(jù)種類和規(guī)模正以前所未有的速度增長，大數(shù)據(jù)時(shí)代正式到來數(shù)據(jù)從簡單的處理對象開始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源，如何更好地管理和利用大數(shù)據(jù)就云計(jì)算技術(shù)對于大數(shù)據(jù)時(shí)代數(shù)據(jù)管理所產(chǎn)生的作用進(jìn)行分析最后歸納總結(jié)大數(shù)據(jù)時(shí)代所面臨的新挑戰(zhàn)關(guān)鍵詞：關(guān)鍵詞：大數(shù)據(jù)；技術(shù)；挑戰(zhàn)；數(shù)據(jù)分析；云計(jì)算Abstract：Dat

2、atypeamountinhumansocietyisgrowinginamazingspeedwhichiscausedbyemergingnewservicessuchascloudcomputing，interofthingssocialwk，theeraofbigdatahascomeDatahasbeenfundamentalresourcefromsimpledealingobject，howtomanageutilizeb

3、igdatabetterhasattractedmuchattentionkeywds：bigdatatechnologyChallengedataanalysiscloudcomputing引言近年來，伴隨著物聯(lián)網(wǎng)、云計(jì)算、移動互聯(lián)網(wǎng)等新技術(shù)的迅猛發(fā)展，數(shù)據(jù)正以前所未有的速度不斷增長和積累，大數(shù)據(jù)時(shí)代已經(jīng)成為普遍關(guān)注的話題大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生對大數(shù)據(jù)的基本概念

4、進(jìn)行剖析，并對大數(shù)據(jù)的主要應(yīng)用作簡單對比在此基礎(chǔ)上，闡述大數(shù)據(jù)處理的基本框架。這引起了產(chǎn)業(yè)界、學(xué)術(shù)界、科技界和政府機(jī)構(gòu)的廣泛關(guān)注。大數(shù)據(jù)的火熱并不意味著對于大數(shù)據(jù)的了解深入，反而表明大數(shù)據(jù)存在過度炒作的危險(xiǎn)大數(shù)據(jù)的基本概念、關(guān)鍵技術(shù)以及對其利用上均存在很多的疑問和爭議【1】。一、大數(shù)據(jù)的基本概念及大數(shù)據(jù)時(shí)代產(chǎn)生的必然早在1980年，美國著名未來學(xué)家阿爾溫托夫勒(AlvinToffler)在第三次浪潮一書中就提出了大數(shù)據(jù)(BigData)

5、的概念，并將其贊頌為第三次浪潮的華彩樂章［2］著名的數(shù)據(jù)庫專家圖靈獎獲得者吉姆格雷(JimGray)認(rèn)為傳統(tǒng)的3并將數(shù)據(jù)信息化基礎(chǔ)設(shè)施作為Hizon2020計(jì)劃的優(yōu)先領(lǐng)域之一［6］2012年初，世界經(jīng)濟(jì)論壇一份題為大數(shù)據(jù)，大影響(BigData，BigImpact)的報(bào)告宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣聯(lián)合國也推出了全球脈動(GlobalPulse)［10］倡議項(xiàng)目，希望利用大數(shù)據(jù)來促進(jìn)全球經(jīng)濟(jì)發(fā)展。盡管各界各

6、地區(qū)各機(jī)構(gòu)對大數(shù)據(jù)廣泛關(guān)注，進(jìn)行了大量研究，但目前對于大數(shù)據(jù)尚未形成公認(rèn)的定義信息管理專家涂子沛在大數(shù)據(jù):正在到來的數(shù)據(jù)革命中這樣定義大數(shù)據(jù):指那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度，一般的軟件工具難以捕捉存儲管理和分析的數(shù)據(jù)，［11］一般以太字節(jié)(TB)為單位這一定義基本上簡單明了地闡述了大數(shù)據(jù)的內(nèi)涵。數(shù)據(jù)是云計(jì)算技術(shù)的延伸，更是社會進(jìn)步和發(fā)展的必然結(jié)果，大數(shù)據(jù)時(shí)代的到來引領(lǐng)了未來IT技術(shù)發(fā)展的戰(zhàn)略走向。在信息和網(wǎng)絡(luò)技術(shù)飛速發(fā)展的今天，越

7、來越多的企業(yè)業(yè)務(wù)及社會活動實(shí)現(xiàn)了數(shù)字化，特別是隨著數(shù)據(jù)生成的自動化及數(shù)據(jù)生成速度的加快，數(shù)據(jù)量也隨之快速增長【12】。同時(shí)，隨著存儲設(shè)備、內(nèi)存、處理器等電腦元件成本的穩(wěn)定下降，使得之前較昂貴的大規(guī)模數(shù)據(jù)存儲和處理變得十分經(jīng)濟(jì)【13】，也使得大數(shù)據(jù)的存在成為可能。傳感器數(shù)據(jù)也是大數(shù)據(jù)的主要來源之一。在物聯(lián)網(wǎng)時(shí)代，成萬上億計(jì)的網(wǎng)絡(luò)傳感器嵌入在數(shù)量不斷增長的智能電表、移動電話、汽車等物理設(shè)備中，不斷感知、生成并傳輸超大規(guī)模的有關(guān)地理位置、振動

8、、溫度、濕度等新型數(shù)據(jù)。此外，移動互聯(lián)網(wǎng)、三網(wǎng)融合、Web2.0技術(shù)和電子商務(wù)技術(shù)的飛速發(fā)展，也促進(jìn)了大數(shù)據(jù)時(shí)代的產(chǎn)生和發(fā)展?？梢园l(fā)現(xiàn)，數(shù)字化已經(jīng)成為社會發(fā)展的必然趨勢。與生產(chǎn)過程必須依賴硬件設(shè)備和人力資本一樣，企業(yè)的業(yè)務(wù)活動、創(chuàng)新、成長也越來越離不開大量數(shù)據(jù)的支持【14】。也就是說，企業(yè)的任何一項(xiàng)業(yè)務(wù)活動都與大量的數(shù)據(jù)緊密相聯(lián)，而我們每一個(gè)人都是數(shù)據(jù)的產(chǎn)生者，數(shù)據(jù)量與日俱增，數(shù)據(jù)結(jié)構(gòu)繁雜多變，數(shù)據(jù)產(chǎn)生速度非常之快，我們已經(jīng)進(jìn)入了大數(shù)據(jù)

9、的時(shí)代【15】。二、大數(shù)據(jù)的特點(diǎn)及關(guān)鍵技術(shù)分析1.大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，是近來研究的一個(gè)技術(shù)熱點(diǎn)大數(shù)據(jù)具有以下4個(gè)特點(diǎn)，即4個(gè)V［16］:(1)數(shù)據(jù)體量(Volumes)巨大大型數(shù)據(jù)集，從TB級別，躍升到PB級別；(2)數(shù)據(jù)類別(Variety)繁多數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；(3)價(jià)值(Value)密度低以視頻為例，連續(xù)