基于Hive的離線數(shù)據(jù)處理方法與實現(xiàn).pdf

1、離線數(shù)據(jù)和業(yè)務(wù)量的急劇增長使得傳統(tǒng)數(shù)據(jù)庫技術(shù)及單純基于Hadoop的分布式計算方法需耗費巨大開銷，且報表查詢頁面等待時間長，嚴(yán)重影響用戶的體驗。
　　本文提出一種基于Hadoop和Hive的離線數(shù)據(jù)處理方法，采用Java定時任務(wù)觸發(fā)處理作業(yè)的啟動，利用不同作業(yè)對實時性要求的差異，將運行時間分散到不同時間段，實現(xiàn)系統(tǒng)性能的平衡。首先將每種離線數(shù)據(jù)的處理均視為一個作業(yè)，每個作業(yè)又被分為若干個子任務(wù);作業(yè)依據(jù)其標(biāo)識、啟動時間、循環(huán)間隔等

2、信息由Java定時任務(wù)觸發(fā);定時任務(wù)每分鐘查詢待啟動的作業(yè)，并根據(jù)不同的作業(yè)類型，進(jìn)入到相應(yīng)的執(zhí)行流程。提出復(fù)雜報表數(shù)據(jù)統(tǒng)計作業(yè)的多維度統(tǒng)計方法;抽象出作業(yè)執(zhí)行流程較為相似的各個子任務(wù)模板，提高可復(fù)用性。
　　將所提出方法應(yīng)用于能力開放平臺，實例結(jié)果表明該方法可減少離線冗余數(shù)據(jù)的空間消耗;通過預(yù)測用戶欺詐行為，可提高對消費者權(quán)益的保障;報表數(shù)據(jù)的多維度統(tǒng)計結(jié)果拆分，可大大縮短報表查詢的時間開銷;通過減少頁面等待時間提高了用戶體驗。