云展大數(shù)據(jù)機(jī)-yzbigdata

1、云展大數(shù)據(jù)機(jī),新加坡國(guó)立大學(xué)/浙江大學(xué)數(shù)據(jù)庫(kù)研究組,團(tuán)隊(duì)簡(jiǎn)介,新加坡國(guó)立大學(xué)2011年美國(guó)新聞（US　News）的大學(xué)排名中為第28名，亞洲第三名2011-2012泰晤士報(bào)大學(xué)排名中為世界第40名，亞洲第三名2012 QS World University Rankings的計(jì)算機(jī)系排名，國(guó)立大學(xué)排第9名基于新加坡國(guó)立大學(xué)計(jì)算機(jī)系數(shù)據(jù)庫(kù)組的研究團(tuán)隊(duì)教授博士導(dǎo)師：3人博士后：3人博士生：16人碩士生：10人研究助理：8人

2、,團(tuán)隊(duì)帶頭人,黃銘鈞(Ooi Beng Chin)教授現(xiàn)任新加坡國(guó)立大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)ACM和IEEE雙料院士2009年SIGMOD貢獻(xiàn)獎(jiǎng)2011年新加坡科學(xué)家總統(tǒng)獎(jiǎng)2012年IEEE Computer Society Kanai獎(jiǎng)國(guó)際知名刊物TKDE的主編曾多次擔(dān)任國(guó)際頂級(jí)會(huì)議SIGMOD, VLDB, ICDE的執(zhí)行委員會(huì)主席共發(fā)表國(guó)際論文200多篇,團(tuán)隊(duì)帶頭人,陳剛教授浙江大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng) 近五年來(lái)共在研和

3、完成國(guó)家863計(jì)劃項(xiàng)目四項(xiàng)、國(guó)防預(yù)研項(xiàng)目四項(xiàng)，國(guó)家計(jì)委產(chǎn)業(yè)化前期項(xiàng)目一項(xiàng) 獲國(guó)家科技進(jìn)步二等獎(jiǎng)一項(xiàng)、國(guó)家科技進(jìn)步三等獎(jiǎng)一項(xiàng)、浙江省科技進(jìn)步一等獎(jiǎng)二項(xiàng)、教育部科技進(jìn)步二等獎(jiǎng)一項(xiàng)，年度浙江省科技進(jìn)步三等獎(jiǎng)一項(xiàng) 開(kāi)發(fā)國(guó)產(chǎn)數(shù)據(jù)庫(kù)神舟Oscar系統(tǒng),云展大數(shù)據(jù)機(jī)概述,定位：國(guó)內(nèi)大數(shù)據(jù)分析平臺(tái)，為應(yīng)用開(kāi)發(fā)提供支撐特色：軟硬件一體化設(shè)計(jì)對(duì)大數(shù)據(jù)分析應(yīng)用開(kāi)發(fā)全周期的支持大數(shù)據(jù)收集大數(shù)據(jù)編目（元數(shù)據(jù)管理）大數(shù)據(jù)并行處理引擎數(shù)據(jù)可視化、知

4、識(shí)查詢性能卓越云計(jì)算技術(shù)并行處理技術(shù),國(guó)內(nèi)大數(shù)據(jù)市場(chǎng)形勢(shì)分析,數(shù)據(jù)來(lái)源：CCW Research（計(jì)世資訊 ）是ICT產(chǎn)業(yè)權(quán)威的市場(chǎng)研究和咨詢機(jī)構(gòu)市場(chǎng)規(guī)模2011年開(kāi)始起步，2012-2016，高速發(fā)展2012年為4.7億元，每年超過(guò)100%的增長(zhǎng)速度,大數(shù)據(jù)分析市場(chǎng)行業(yè)分布,2012年大數(shù)據(jù)分析需求行業(yè)分布政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。結(jié)論：各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用的需求，潛

5、在市場(chǎng)空間非常可觀。,云展大數(shù)據(jù)機(jī),,收集網(wǎng)站日志,交易數(shù)據(jù),音頻視頻數(shù)據(jù),即時(shí)信息……,可擴(kuò)展數(shù)據(jù)采集框架,數(shù)據(jù)導(dǎo)入,元數(shù)據(jù)管理分布式大數(shù)據(jù)存儲(chǔ),確立分析目標(biāo)編寫分析程序,大數(shù)據(jù)并行處理引擎,為分析目標(biāo)生成報(bào)表,趨勢(shì)圖等,圖表生成工具,大數(shù)據(jù)分析應(yīng)用,大數(shù)據(jù)分析平臺(tái),,云展大數(shù)據(jù)機(jī)—軟件架構(gòu),,數(shù)據(jù)收集框架,基于分布式文件系統(tǒng)的數(shù)據(jù)存儲(chǔ),,,元數(shù)據(jù)管理,E3大數(shù)據(jù)并行處理框架,,SQL接口,E3編程接口,MapReduce接口,可

6、視化工具,大數(shù)據(jù)知識(shí)庫(kù),,文本分析工具,結(jié)構(gòu)化數(shù)據(jù)分析工具,云展大數(shù)據(jù)機(jī)—硬件架構(gòu),標(biāo)準(zhǔn)機(jī)架式設(shè)計(jì)每個(gè)機(jī)架可容納40臺(tái)節(jié)點(diǎn)機(jī)節(jié)點(diǎn)機(jī)通過(guò)千兆以太網(wǎng)連接節(jié)點(diǎn)機(jī)采用標(biāo)準(zhǔn)PC服務(wù)器可擴(kuò)展到20個(gè)機(jī)架原型機(jī)：awan（2個(gè)機(jī)架，76臺(tái)節(jié)點(diǎn)機(jī)）,云展關(guān)鍵技術(shù)——E3引擎,E3將數(shù)據(jù)處理過(guò)程描述為一個(gè)線性工作流，工作流中每一個(gè)節(jié)點(diǎn)稱為一個(gè)階段，每階段包含若干處理單元，每個(gè)處理單元對(duì)數(shù)據(jù)進(jìn)行部分處理。E3按照工作流的順序，并行地調(diào)度處理單

7、元在計(jì)算節(jié)點(diǎn)上運(yùn)行，自動(dòng)在處理單元之間傳遞中間運(yùn)算結(jié)果，最終完成整個(gè)數(shù)據(jù)處理過(guò)程。,pu1,pu1,pu1,pu1,pu2,pu2,pu3,pu4,pu4,pu5,pu5,pu5,云數(shù)據(jù) 存儲(chǔ)服務(wù),云 數(shù)據(jù)存儲(chǔ)服務(wù),,,PU – processing unit （處理單元）,E3與阿帕奇Hadoop的性能比較,Grep任務(wù)：每個(gè)節(jié)點(diǎn)535MSelect任務(wù)：每個(gè)節(jié)點(diǎn)1G,Grep任務(wù),Select任務(wù),混合式數(shù)據(jù)分析工具,同時(shí)支持非結(jié)

8、構(gòu)化的文本分析和結(jié)構(gòu)化的數(shù)據(jù)庫(kù)分析建立在統(tǒng)一的E3引擎之上，能夠進(jìn)行交互和聯(lián)合分析支持對(duì)海量數(shù)據(jù)的快速分析，發(fā)現(xiàn)其中隱藏的知識(shí)、行為模式等提供描述語(yǔ)言，支持用戶進(jìn)行自定義的數(shù)據(jù)分析,,文本分析工具,結(jié)構(gòu)化數(shù)據(jù)分析工具,非機(jī)構(gòu)化分析工具,分布式存儲(chǔ)和處理模型無(wú)需定義表結(jié)構(gòu)數(shù)據(jù)直接存儲(chǔ)與分布式文件系統(tǒng)中自動(dòng)錯(cuò)誤處理和恢復(fù)基本的數(shù)據(jù)訪問(wèn)接口put/get: 隨機(jī)的文檔數(shù)據(jù)讀取scan: 批量數(shù)據(jù)掃描tokenize: 將

9、文檔組織成單詞組以提供給上層分析處理分析數(shù)據(jù)接口Extract operator [?]: 提供基于正則表達(dá)式和字典的匹配操作Select operator [σ]: 提供基于用戶選擇條件的過(guò)濾操作Join operator [?]: 將來(lái)自多個(gè)數(shù)據(jù)源的文檔/文字流進(jìn)行合并Consolidate operator [Ω]: 去重操作提供類似于SQL的文本處理分析語(yǔ)言: EPQL,非結(jié)構(gòu)化處理流程,每一個(gè)EPQL將對(duì)特定集合的

10、文檔進(jìn)行處理每個(gè)文檔將通過(guò)4個(gè)操作的處理，然后中間結(jié)果傳給連接操作和去重操作結(jié)果將是符合用戶要求的文檔或統(tǒng)計(jì)內(nèi)容，比如：查找所有包含關(guān)鍵詞：[Cloud] [Computing]，在2012年產(chǎn)生的網(wǎng)頁(yè)統(tǒng)計(jì)近一個(gè)月內(nèi)，出現(xiàn)包含釣魚島的文檔與包含日本車銷量?jī)?nèi)容的文檔的關(guān)聯(lián)度,文本分析示例：用戶反饋信息分析,在電子商務(wù)網(wǎng)站，如京東等，用戶購(gòu)買結(jié)束后，會(huì)對(duì)產(chǎn)品購(gòu)買過(guò)程及產(chǎn)品本身進(jìn)行評(píng)價(jià)，通過(guò)分析用戶的反饋信息，可以發(fā)現(xiàn)其中的問(wèn)題,結(jié)構(gòu)

11、化數(shù)據(jù)分析,結(jié)構(gòu)化數(shù)據(jù)分析通過(guò)維護(hù)并定期更新data cube的方式來(lái)提供高效的分析查詢結(jié)果根據(jù)時(shí)間戳來(lái)實(shí)現(xiàn)同時(shí)支持實(shí)時(shí)事務(wù)處理和分析查詢,,數(shù)據(jù)分片,分布式索引技術(shù),在結(jié)構(gòu)化分析工具中，系統(tǒng)建立多維的分布式索引以支持高效的并行查找分布式索引技術(shù)建立分布式二級(jí)索引支持并發(fā)地在多節(jié)點(diǎn)上同時(shí)查詢可以和本地?cái)?shù)據(jù)庫(kù)索引連接例如：分布式B樹(shù)索引結(jié)構(gòu)，,可視化工具,將分析結(jié)果以報(bào)表的形式展現(xiàn)給用戶支持線圖、餅圖、柱裝圖、趨勢(shì)圖等常用的

12、圖表格式標(biāo)簽云以及數(shù)據(jù)關(guān)聯(lián)挖掘,云展大數(shù)據(jù)機(jī)與其他大數(shù)據(jù)分析平臺(tái)的比較,分析案例：95598客服服務(wù),主要功能包括客戶檔案查詢、電量電費(fèi)查詢、業(yè)務(wù)辦理進(jìn)度查詢，以及業(yè)務(wù)受理、故障報(bào)修、咨詢受理、投訴舉報(bào)、消息訂閱主要業(yè)務(wù)流程,,,,客戶電話記錄,語(yǔ)音記錄,用戶電話,客戶電話記錄,由客服人員手工錄入，包括：電話起止時(shí)間客戶身份信息原因（歸類為:電費(fèi)查詢、投訴、保修等幾大類）簡(jiǎn)單內(nèi)容概述（不完整，客戶人員匆匆記錄）當(dāng)前的處理方

13、式——簡(jiǎn)單的統(tǒng)計(jì)信息：平均電話時(shí)?？蛻舴植夹畔⒚糠N電話的統(tǒng)計(jì)百分比缺乏深度的分析用戶因?yàn)槭裁炊对V，這種投訴是否是普遍存在的每個(gè)用戶是否通過(guò)撥打955598電話完成了他的請(qǐng)求,語(yǔ)音記錄,用戶和客服之間的對(duì)話會(huì)被完整記錄為語(yǔ)音文件語(yǔ)音文件包含了豐富的信息：用戶打電話的主要原因客服的服務(wù)態(tài)度客服的服務(wù)能力用戶的滿意度因?yàn)槿鄙傧嚓P(guān)工具，當(dāng)前采用人員采樣收聽(tīng)的策略，效率低，覆蓋率低,,針對(duì)客服信息的大數(shù)據(jù)分析,用戶數(shù)據(jù),

14、,,云展數(shù)據(jù)倉(cāng)庫(kù),導(dǎo)入,,混合數(shù)據(jù)分析,改進(jìn)業(yè)務(wù)流程,,,產(chǎn)生新的數(shù)據(jù),,關(guān)聯(lián),,翻譯,關(guān)鍵技術(shù)——非結(jié)構(gòu)化語(yǔ)音分析,,,客服信息,用戶信息,語(yǔ)音語(yǔ)調(diào)分析，看是否按照規(guī)定的態(tài)度服務(wù),記錄了用戶的投訴內(nèi)容和對(duì)服務(wù)的滿意度,,內(nèi)容分割：按照音色音域,分析結(jié)果——用戶滿意度,用戶撥打客服電話都是有一定的目的，目的達(dá)到與否則表示了客服的成功率通過(guò)對(duì)用戶的語(yǔ)義、情緒分析，符合下列模型的，分析認(rèn)為是正確滿足用戶需求的,不滿,憤怒,疑問(wèn),,稱贊,

15、感謝,釋疑,平靜,分析結(jié)果——客服質(zhì)量,客服質(zhì)量定義為：?jiǎn)挝粫r(shí)間內(nèi)滿足的用戶數(shù)量對(duì)某一特定客服人員：,分析結(jié)果——熱點(diǎn)分析,通過(guò)整理分析用戶通話內(nèi)容得到用戶投訴的主要目的使用數(shù)據(jù)挖掘和數(shù)據(jù)可視化來(lái)統(tǒng)計(jì)關(guān)鍵問(wèn)題支持海量數(shù)據(jù)的快速處理分析客戶通話內(nèi)容,按照詞頻構(gòu)造標(biāo)簽云：,關(guān)鍵技術(shù)——分結(jié)構(gòu)化數(shù)據(jù)分析,系統(tǒng)支持按照關(guān)鍵詞（一個(gè)或多個(gè)）將錄音電話切片分類比如，要查找關(guān)于“電費(fèi)”相關(guān)的記錄中主要的投訴內(nèi)容通過(guò)索引和分布式處理機(jī)制，可

16、以快速的生成新的統(tǒng)計(jì)數(shù)據(jù)（類似于在數(shù)據(jù)倉(cāng)庫(kù)中做切片操作）：,關(guān)鍵技術(shù)——結(jié)構(gòu)化/分結(jié)構(gòu)化混合分析,客服內(nèi)容由兩部分：關(guān)于電話基本信息的關(guān)系數(shù)據(jù)，具體的語(yǔ)音信息關(guān)聯(lián)分析將兩者結(jié)合起來(lái)進(jìn)行深度分析：電話耗時(shí)10分鐘以下和10分鐘以上的用戶滿意度統(tǒng)計(jì)分布在不同區(qū)域的用戶滿意度統(tǒng)計(jì)收入在不同范圍的用戶關(guān)心的主要問(wèn)題客服填寫的簡(jiǎn)要信息是否和用戶錄音記錄一致客戶電話主要集中來(lái)電時(shí)間分布，以及和滿意度的關(guān)聯(lián)度客服的效率和時(shí)間的關(guān)系,其他

17、案例,網(wǎng)易私有云平臺(tái)推進(jìn)企業(yè)內(nèi)數(shù)據(jù)共享、全局信息挖掘與商業(yè)智能,虛擬化,虛擬機(jī)、網(wǎng)絡(luò)、云硬盤,數(shù)據(jù)管理,DDB、對(duì)象存儲(chǔ)、文件中心、關(guān)系數(shù)據(jù)存儲(chǔ)、全文檢索、并行分析、Timeline、NewSQL、緩存服務(wù),應(yīng)用架構(gòu),負(fù)載均衡(LVS、反向代理)、DNS、消息隊(duì)列,擴(kuò)展功能,圖像處理、文本分析(分詞、標(biāo)簽、分類)、數(shù)據(jù)挖掘(聚類、關(guān)聯(lián)規(guī)則)、語(yǔ)音處理、GIS,數(shù)據(jù)共享,IP城市庫(kù)、樂(lè)庫(kù)、書庫(kù),用戶管理與監(jiān)控平臺(tái),管理員運(yùn)維平臺(tái),應(yīng)用平