基于元數(shù)據(jù)倉庫的數(shù)據(jù)地圖設(shè)計與實現(xiàn).pdf

1、隨著以數(shù)據(jù)作為決策驅(qū)動的互聯(lián)網(wǎng)行業(yè)越來越多，數(shù)據(jù)在互聯(lián)網(wǎng)中扮演著越來越重要角色。并且如今數(shù)據(jù)的量級已經(jīng)呈現(xiàn)爆炸式增長，僅僅依靠數(shù)據(jù)倉庫建模理論已經(jīng)難以維持數(shù)據(jù)的良好增長，企業(yè)迫切的需要統(tǒng)一的管理這些數(shù)據(jù)，避免其野蠻的生長。如何合理高效的使用這些數(shù)據(jù)成為當下需要思考的問題。元數(shù)據(jù)被稱為描述數(shù)據(jù)的數(shù)據(jù)，能夠描述數(shù)據(jù)內(nèi)容之間和元素之間的關(guān)聯(lián)關(guān)系，并且能夠較為清晰的描述數(shù)據(jù)，那么想要通過系統(tǒng)化的工具管理規(guī)模龐大的數(shù)據(jù)，元數(shù)據(jù)無疑是推動系統(tǒng)化工具

2、建設(shè)的答案之一。
　　本文首先分析了現(xiàn)階段數(shù)據(jù)治理通用的手段，元數(shù)據(jù)通用的管理方式，通過對現(xiàn)狀分析總結(jié)出不足，提出了通過元數(shù)據(jù)倉庫的方式推進數(shù)據(jù)治理的方案。同時，通過對現(xiàn)狀及實際需求進行分析，選擇了以元數(shù)據(jù)倉庫為基礎(chǔ)的數(shù)據(jù)地圖來解決元數(shù)據(jù)管理以及數(shù)據(jù)源確定的難題?；谛枨蠓治?，并結(jié)合實際應用場景，對系統(tǒng)的結(jié)構(gòu)以及功能模塊進行概要設(shè)計和詳細設(shè)計，其中包括系統(tǒng)架構(gòu)圖以及功能流程圖。最后，本系統(tǒng)使用數(shù)據(jù)，后端，前端分離開發(fā)模式來實現(xiàn)需求

3、，使用基于Hadoop和Hive的ETL技術(shù)建設(shè)元數(shù)據(jù)倉庫，保證數(shù)據(jù)生產(chǎn)，系統(tǒng)后端接口采用開源Python框架Flask，使用Flux處理前后端的數(shù)據(jù)流，完成用戶和界面的交互，最終實現(xiàn)系統(tǒng)的功能。
　　本文實現(xiàn)的系統(tǒng)最終實現(xiàn)了對元數(shù)據(jù)統(tǒng)一管理的元數(shù)據(jù)倉庫，并通過數(shù)據(jù)地圖提供了數(shù)據(jù)源定位，數(shù)據(jù)展現(xiàn)，生命周期，血緣關(guān)系梳理等功能，解決了分析師找數(shù)據(jù)困難，找到數(shù)據(jù)不會用的問題。系統(tǒng)采用敏捷開發(fā)的模式，以用戶需求為核心進行功能的快速迭代和