面向eCRM的數(shù)據(jù)世系管理技術(shù)研究及其應(yīng)用.pdf

1、2015屆碩士專(zhuān)業(yè)學(xué)位研究生學(xué)位論文學(xué)號(hào)：2013300345面向eCRM的數(shù)據(jù)世系管理技術(shù)研究及其應(yīng)用面向eCRM的數(shù)據(jù)世系管理技術(shù)研究及其應(yīng)用論文作者：論文作者：焦緒寧焦緒寧指導(dǎo)教師：指導(dǎo)教師：倪建成副教授倪建成副教授培養(yǎng)單位：培養(yǎng)單位：信息科學(xué)與工程學(xué)院信息科學(xué)與工程學(xué)院專(zhuān)業(yè)學(xué)位類(lèi)別：專(zhuān)業(yè)學(xué)位類(lèi)別：工程碩士工程碩士專(zhuān)業(yè)學(xué)位領(lǐng)域：專(zhuān)業(yè)學(xué)位領(lǐng)域：計(jì)算機(jī)技術(shù)計(jì)算機(jī)技術(shù)摘要I摘要摘要大數(shù)據(jù)時(shí)代到來(lái)的標(biāo)志是海量數(shù)據(jù)4v特征的出現(xiàn)，隨著互聯(lián)網(wǎng)

2、的高速發(fā)展，訪問(wèn)網(wǎng)絡(luò)過(guò)程中產(chǎn)生的日志數(shù)據(jù)、個(gè)人資料、通訊信息、影音資料以及各種智能終端產(chǎn)生的大數(shù)據(jù)集的規(guī)模也在不斷的急劇增大。面對(duì)如此大規(guī)模的數(shù)據(jù)集，大多數(shù)企業(yè)以及客戶(hù)面臨的難題是當(dāng)前使用的技術(shù)已不能有效管理和處理數(shù)據(jù)，因此，建立在Hadoop集群上運(yùn)用HDFS、HBase、Hive的數(shù)據(jù)世系管理技術(shù)為之提供了一種可行解決方案。數(shù)據(jù)世系是包含源數(shù)據(jù)，源數(shù)據(jù)演變的目標(biāo)數(shù)據(jù)以及演變過(guò)程的信息綜合體，即初始數(shù)據(jù)經(jīng)過(guò)再加工而產(chǎn)生宏觀數(shù)據(jù)的整個(gè)過(guò)

3、程的信息集合。數(shù)據(jù)世系管理技術(shù)的目的是實(shí)現(xiàn)對(duì)數(shù)據(jù)的管理與雙向追蹤，通過(guò)對(duì)數(shù)據(jù)的溯源實(shí)現(xiàn)對(duì)數(shù)據(jù)的全程監(jiān)管。Hadoop集群系統(tǒng)是集數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、分布式并行編程和分布式協(xié)同等功能軟件的一個(gè)完整生態(tài)環(huán)境，具有高可靠性、高可擴(kuò)展性、高效性、高容錯(cuò)性以及低成本的特性。其中，分布式并行編程框架MapReduce主要適用于批量文件處理，數(shù)據(jù)統(tǒng)計(jì)和查詢(xún)可以采用Hive數(shù)據(jù)倉(cāng)庫(kù)工具，由此，采用整合HBase和Hive的方式可以大幅度降低數(shù)據(jù)查詢(xún)、統(tǒng)

4、計(jì)的難度。因而，充分利用Hadoop集群的高可擴(kuò)展性以及低成本的特點(diǎn)，不僅可以在商用服務(wù)器集群上實(shí)現(xiàn)大規(guī)模的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，而且可以實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)與分析功能。目前，數(shù)據(jù)世系管理技術(shù)在國(guó)外正逐漸獲得廣泛應(yīng)用。國(guó)內(nèi)在理論與實(shí)踐方面雖然也取得了一些進(jìn)展，但其應(yīng)用仍然處于起步階段。因此，有效、便捷地將建立在Hadoop集群上、應(yīng)用HBase和Hive的數(shù)據(jù)世系管理技術(shù)運(yùn)用到政府部門(mén)以及企業(yè)中是實(shí)現(xiàn)大數(shù)據(jù)有效管理和應(yīng)用的一個(gè)

5、重點(diǎn)方向。本文在深入研究數(shù)據(jù)世系、數(shù)據(jù)溯源模型、數(shù)據(jù)溯源方法和Perm查詢(xún)重寫(xiě)技術(shù)的基礎(chǔ)上，重點(diǎn)研究了Hadoop生態(tài)體系架構(gòu)及相關(guān)存儲(chǔ)和數(shù)據(jù)倉(cāng)庫(kù)管理工具，實(shí)現(xiàn)了eCRM數(shù)據(jù)世系管理系統(tǒng)。主要研究?jī)?nèi)容體現(xiàn)在以下兩個(gè)方面：1.基于Hadoop生態(tài)系統(tǒng)，通過(guò)運(yùn)用數(shù)據(jù)世系管理技術(shù)對(duì)同一數(shù)據(jù)源內(nèi)部數(shù)據(jù)的處理和分析，實(shí)現(xiàn)了數(shù)據(jù)查詢(xún)、統(tǒng)計(jì)分析和管理世系數(shù)據(jù)的功能。根據(jù)世系信息，通過(guò)對(duì)結(jié)果數(shù)據(jù)向上溯源，追蹤與之關(guān)聯(lián)的輸入數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)的審查和恢復(fù)功