基于元數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)地圖設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著以數(shù)據(jù)作為決策驅(qū)動(dòng)的互聯(lián)網(wǎng)行業(yè)越來越多，數(shù)據(jù)在互聯(lián)網(wǎng)中扮演著越來越重要角色。并且如今數(shù)據(jù)的量級(jí)已經(jīng)呈現(xiàn)爆炸式增長(zhǎng)，僅僅依靠數(shù)據(jù)倉(cāng)庫(kù)建模理論已經(jīng)難以維持?jǐn)?shù)據(jù)的良好增長(zhǎng)，企業(yè)迫切的需要統(tǒng)一的管理這些數(shù)據(jù)，避免其野蠻的生長(zhǎng)。如何合理高效的使用這些數(shù)據(jù)成為當(dāng)下需要思考的問題。元數(shù)據(jù)被稱為描述數(shù)據(jù)的數(shù)據(jù)，能夠描述數(shù)據(jù)內(nèi)容之間和元素之間的關(guān)聯(lián)關(guān)系，并且能夠較為清晰的描述數(shù)據(jù)，那么想要通過系統(tǒng)化的工具管理規(guī)模龐大的數(shù)據(jù)，元數(shù)據(jù)無疑是推動(dòng)系統(tǒng)化工具

2、建設(shè)的答案之一。
　　本文首先分析了現(xiàn)階段數(shù)據(jù)治理通用的手段，元數(shù)據(jù)通用的管理方式，通過對(duì)現(xiàn)狀分析總結(jié)出不足，提出了通過元數(shù)據(jù)倉(cāng)庫(kù)的方式推進(jìn)數(shù)據(jù)治理的方案。同時(shí)，通過對(duì)現(xiàn)狀及實(shí)際需求進(jìn)行分析，選擇了以元數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)的數(shù)據(jù)地圖來解決元數(shù)據(jù)管理以及數(shù)據(jù)源確定的難題。基于需求分析，并結(jié)合實(shí)際應(yīng)用場(chǎng)景，對(duì)系統(tǒng)的結(jié)構(gòu)以及功能模塊進(jìn)行概要設(shè)計(jì)和詳細(xì)設(shè)計(jì)，其中包括系統(tǒng)架構(gòu)圖以及功能流程圖。最后，本系統(tǒng)使用數(shù)據(jù)，后端，前端分離開發(fā)模式來實(shí)現(xiàn)需求

3、，使用基于Hadoop和Hive的ETL技術(shù)建設(shè)元數(shù)據(jù)倉(cāng)庫(kù)，保證數(shù)據(jù)生產(chǎn)，系統(tǒng)后端接口采用開源Python框架Flask，使用Flux處理前后端的數(shù)據(jù)流，完成用戶和界面的交互，最終實(shí)現(xiàn)系統(tǒng)的功能。
　　本文實(shí)現(xiàn)的系統(tǒng)最終實(shí)現(xiàn)了對(duì)元數(shù)據(jù)統(tǒng)一管理的元數(shù)據(jù)倉(cāng)庫(kù)，并通過數(shù)據(jù)地圖提供了數(shù)據(jù)源定位，數(shù)據(jù)展現(xiàn)，生命周期，血緣關(guān)系梳理等功能，解決了分析師找數(shù)據(jù)困難，找到數(shù)據(jù)不會(huì)用的問題。系統(tǒng)采用敏捷開發(fā)的模式，以用戶需求為核心進(jìn)行功能的快速迭代和