數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近幾年來，技術(shù)的發(fā)展逐步進(jìn)入了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)平臺(tái)的建設(shè)也成為了各個(gè)科技公司的需求，實(shí)習(xí)公司也希望建立一個(gè)大數(shù)據(jù)平臺(tái)，以此來解決了海量數(shù)據(jù)存儲(chǔ)的瓶頸。
　　本項(xiàng)目來自本人研究生期間的實(shí)習(xí)公司，目的是整合公司所有業(yè)務(wù)數(shù)據(jù)，建立統(tǒng)一的數(shù)據(jù)中心，為各個(gè)業(yè)務(wù)線提供線上和線下的數(shù)據(jù)支持，成為公司統(tǒng)一的數(shù)據(jù)交換與提供平臺(tái)。項(xiàng)目的功能包括六個(gè)模塊:數(shù)據(jù)采集、報(bào)表系統(tǒng)、服務(wù)監(jiān)控、日志分析、數(shù)據(jù)搜索與分析、用戶畫像。其中，數(shù)據(jù)采集來源于網(wǎng)絡(luò)爬蟲，

2、業(yè)務(wù)線數(shù)據(jù)，日志文件。報(bào)表系統(tǒng)負(fù)責(zé)業(yè)務(wù)指標(biāo)的統(tǒng)計(jì)展示。服務(wù)監(jiān)控包括集群和數(shù)據(jù)的監(jiān)控。日志分析是運(yùn)營(yíng)的官網(wǎng)的指標(biāo)統(tǒng)計(jì)。搜索分析利用分布式多用戶能力的搜索引擎Elesticsearch處理大規(guī)模數(shù)據(jù)，目前在研發(fā)階段。用戶畫像是根據(jù)用戶的行為數(shù)據(jù)為用戶打標(biāo)簽。
　　本人在實(shí)習(xí)期間，參與了大數(shù)據(jù)平臺(tái)部分功能的需求討論，功能模塊的開發(fā)以及測(cè)試工作，具體內(nèi)容如下:
　　(1)參與大數(shù)據(jù)平臺(tái)的需求分析，結(jié)合需求劃分功能模塊，參與制定數(shù)據(jù)平

3、臺(tái)的需求文檔。
　　(2)參與數(shù)據(jù)的采集功能模塊開發(fā)，主要負(fù)責(zé)日志文件收集服務(wù)框架的搭建和開發(fā)，業(yè)務(wù)數(shù)據(jù)庫(kù)的同步工作。
　　(3)參與報(bào)表系統(tǒng)模塊研發(fā)，報(bào)表系統(tǒng)包括一個(gè)web前端的配置，可以配置多表的關(guān)聯(lián)，表的合并等，然后根據(jù)該配置文件，經(jīng)過后臺(tái)計(jì)算，生成一張新的報(bào)表，報(bào)表的數(shù)據(jù)通過數(shù)據(jù)魔方系統(tǒng)展示。
　　(4)參與服務(wù)監(jiān)控模塊研發(fā)，其中包括集群的監(jiān)控，表結(jié)構(gòu)的變化，表數(shù)據(jù)的正確性判斷，如果發(fā)生異常，則通過發(fā)郵件的方式