Feed流用戶行為統(tǒng)計系統(tǒng)的設計與實現(xiàn).pdf

1、隨著Feed流產品的不斷更新，以及擁有千萬級別的用戶量，可以成為公司的業(yè)務部門向外推廣自己的產品，策略部門進行小流量實驗，推薦部門進行優(yōu)化算法的絕佳的平臺。每個部門都會在Feed流日志中加入自己的日志，來進行跟蹤，檢測自己的產品，算法究竟符不符合大眾的要求，通過統(tǒng)計點擊，展現(xiàn)量，時長等關鍵性指標來不斷的優(yōu)化自己的產品、算法。
　　由于越來越多的部門進入Feed流，加之每個部門都有自己的日志規(guī)范，導致其日志的格式變得越來越復雜，而且

2、還會出現(xiàn)日有覆蓋別部門的日志字段的情況。因為數(shù)據格式的復雜，導致在解析日志字段的時候會相當?shù)暮臅r。往往一些簡單的需求，由于解析的耗時，導致完成時間的延后，而且產出的結果也不容易進行驗證，代碼的維護性也是很差的。當日志沒有按照規(guī)范來開發(fā)，或者日志內容被別的業(yè)務線覆蓋的時候，沒有一個統(tǒng)一的數(shù)據監(jiān)控平臺來監(jiān)測，報警并將情況第一時間反饋給相關人員進行補救。每天要查看的數(shù)據也沒有統(tǒng)一的報表平臺，以及查詢平臺。
　　在數(shù)據方面，由于公司不同業(yè)

3、務線都是存放在一張大表中，而且只有一個分區(qū)來區(qū)分，所以首要任務是先剝離自己需要的日志，然后再解析，轉換字段，根據ods，dwd，dws，ads層來構建數(shù)據倉庫，將日志進行分散，按照主題進行存放，即方便了后續(xù)的業(yè)務開發(fā)，也擴展了整體業(yè)務的靈活性，以及減少了彼此之間的耦合度。在業(yè)務開發(fā)方面，構建集數(shù)據可視化，數(shù)據查詢，數(shù)據監(jiān)控功能于一體的系統(tǒng)，開發(fā)框架為js+html+springmvc+mybatis，少量的數(shù)據存儲在mysql中，大量的