基于Hadoop的百度游戲數(shù)據(jù)平臺的設(shè)計與實現(xiàn).pdf

1、百度游戲數(shù)據(jù)平臺是百度游戲事業(yè)部的基礎(chǔ)數(shù)據(jù)平臺，主要實現(xiàn)百度游戲事業(yè)部基礎(chǔ)數(shù)據(jù)的抽取、計算、統(tǒng)計、展示等功能。百度游戲事業(yè)部自成立以來不斷發(fā)展壯大，取得了令人矚目的成績。隨著部門平臺的不斷增加、數(shù)據(jù)量的不斷增長、數(shù)據(jù)類型的不斷擴展，對數(shù)據(jù)統(tǒng)計和分析的需求不斷加劇。數(shù)據(jù)蘊藏著巨大的價值，游戲玩家的注冊、登錄和付費等數(shù)據(jù)可以為部門的決策和戰(zhàn)略提供依據(jù)?；诖朔N情況，提出了百度游戲數(shù)據(jù)平臺的設(shè)計與開發(fā)需求，計劃建設(shè)一個基于維度模型的大數(shù)據(jù)多維

2、分析系統(tǒng)，希望能夠滿足市場運營人員的各項數(shù)據(jù)統(tǒng)計需求，提供及時、準確、全面、多維度的數(shù)據(jù)統(tǒng)計功能。由于基礎(chǔ)數(shù)據(jù)來源復雜、數(shù)量龐大，本項目利用Hadoop分布式架構(gòu)，提供一個完整的數(shù)據(jù)解決方案。
　　項目從數(shù)據(jù)流上可劃分成兩大部分，基于Hadoop的基礎(chǔ)數(shù)據(jù)系統(tǒng)和基于J2EE（Java2 Platform Enterprise Edition，Java2平臺企業(yè)版）的數(shù)據(jù)平臺系統(tǒng)。其中，基礎(chǔ)數(shù)據(jù)系統(tǒng)利用 Hadoop的計算能力，完成

3、數(shù)據(jù)ETL（Extraction-Transformation-Loading，數(shù)據(jù)提取、轉(zhuǎn)換和加載）和數(shù)據(jù)維度計算;數(shù)據(jù)平臺系統(tǒng)根據(jù)數(shù)據(jù)報表需求，實現(xiàn)數(shù)據(jù)計算、存儲和查詢、展現(xiàn)功能，并實現(xiàn)了定制報表、定時任務(wù)配置和多層級覆蓋的權(quán)限管理等特色功能。數(shù)據(jù)平臺包括六個部分:今日概況、定制報告、市場推廣、運營統(tǒng)計、配置管理和配置常用報表，每個部分根據(jù)需求又細分為各個子模塊。本文論述了百度游戲數(shù)據(jù)平臺的需求分析、架構(gòu)設(shè)計以及詳細設(shè)計和最終實現(xiàn)。