數據平臺的設計與實現.pdf

1、近幾年來，技術的發(fā)展逐步進入了大數據時代，大數據平臺的建設也成為了各個科技公司的需求，實習公司也希望建立一個大數據平臺，以此來解決了海量數據存儲的瓶頸。
　　本項目來自本人研究生期間的實習公司，目的是整合公司所有業(yè)務數據，建立統一的數據中心，為各個業(yè)務線提供線上和線下的數據支持，成為公司統一的數據交換與提供平臺。項目的功能包括六個模塊:數據采集、報表系統、服務監(jiān)控、日志分析、數據搜索與分析、用戶畫像。其中，數據采集來源于網絡爬蟲，

2、業(yè)務線數據，日志文件。報表系統負責業(yè)務指標的統計展示。服務監(jiān)控包括集群和數據的監(jiān)控。日志分析是運營的官網的指標統計。搜索分析利用分布式多用戶能力的搜索引擎Elesticsearch處理大規(guī)模數據，目前在研發(fā)階段。用戶畫像是根據用戶的行為數據為用戶打標簽。
　　本人在實習期間，參與了大數據平臺部分功能的需求討論，功能模塊的開發(fā)以及測試工作，具體內容如下:
　　(1)參與大數據平臺的需求分析，結合需求劃分功能模塊，參與制定數據平

3、臺的需求文檔。
　　(2)參與數據的采集功能模塊開發(fā)，主要負責日志文件收集服務框架的搭建和開發(fā)，業(yè)務數據庫的同步工作。
　　(3)參與報表系統模塊研發(fā)，報表系統包括一個web前端的配置，可以配置多表的關聯，表的合并等，然后根據該配置文件，經過后臺計算，生成一張新的報表，報表的數據通過數據魔方系統展示。
　　(4)參與服務監(jiān)控模塊研發(fā)，其中包括集群的監(jiān)控，表結構的變化，表數據的正確性判斷，如果發(fā)生異常，則通過發(fā)郵件的方式