基于大數(shù)據(jù)平臺的用戶行為分析系的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用和信息技術(shù)的飛速發(fā)展和普及，信息數(shù)據(jù)已經(jīng)滲透到人們生活的中，數(shù)據(jù)的規(guī)模也呈井噴式的爆炸性增長。通過對海量的數(shù)據(jù)信息進(jìn)行分析挖掘，可以提取出對企業(yè)有重要價值的用戶行為信息，為企業(yè)帶來巨大的商業(yè)價值。
　　提出了hadoop大數(shù)據(jù)平臺下的用戶行為分析系統(tǒng)。輸入法客戶端SDK收集用戶的日常日志信息，利用RSA加密算法將日志信息分段加密，到達(dá)一定數(shù)據(jù)量后進(jìn)行壓縮傳回服務(wù)器。傳回服務(wù)器的日志信息有兩種大的類型，用戶行為數(shù)據(jù)和用

2、戶輸入數(shù)據(jù)。服務(wù)器對收集的日志信息進(jìn)行分類解析，將解析結(jié)果存儲到HDFS分布式文件系統(tǒng)。對存儲在HDFS上的數(shù)據(jù)信息利用分布式編程框架mapreduce來分析處理，將處理后的數(shù)據(jù)信息存入hive數(shù)據(jù)倉庫。統(tǒng)計分析時提取hive表中關(guān)鍵信息，及時了解用戶的行為和需求，進(jìn)行質(zhì)量監(jiān)控。通過用戶行為數(shù)據(jù)可以進(jìn)行常規(guī)的數(shù)據(jù)統(tǒng)計計算包括用戶的新增、活躍、留存分析、渠道分析以及自定義事件和錯誤的分析等。通過對錯誤的分析統(tǒng)計可以進(jìn)行crash收集和分析

3、，及時監(jiān)測輸入法的使用情況，發(fā)現(xiàn)并解決錯誤從而提高輸入法的穩(wěn)定性。通過用戶的輸入數(shù)據(jù)可以對用戶進(jìn)行情感色彩走向的分析還可以進(jìn)行更深層次的數(shù)據(jù)挖掘。
　　對用戶的隱私進(jìn)行壓縮和加密收集，充分利用分布式的處理能力，能在短時間內(nèi)分析出最新的用戶行為和信息。用戶行為分析主要構(gòu)成元素有輸入法常規(guī)數(shù)據(jù)統(tǒng)計、輸入法內(nèi)容區(qū)元素受歡迎程度以及用戶的長短期興趣。利用收集到的一個月的用戶信息進(jìn)行分析，分析結(jié)果提供給產(chǎn)品和運(yùn)營作數(shù)據(jù)支撐，從多方面、多維度