基于Hadoop的海量交易記錄查詢系統(tǒng)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，人們的消費習(xí)慣也在轉(zhuǎn)變，網(wǎng)上購物以其方便快捷的特點受到越來越多人的青睞。隨著越來越多的商家進駐電子商務(wù)網(wǎng)站，商品種類和數(shù)量迅速增多，伴隨著用戶巨大的訪問量和龐大的交易額，電子商務(wù)網(wǎng)站將產(chǎn)生海量的交易記錄，傳統(tǒng)關(guān)系數(shù)據(jù)庫的處理能力正面臨嚴(yán)峻的挑戰(zhàn)。
　　云計算技術(shù)在如今數(shù)據(jù)急劇膨脹的時代應(yīng)運而生，通過利用網(wǎng)絡(luò)連接大量不太昂貴的計算節(jié)點，并采用分布式軟件將節(jié)點虛擬成一個可靠的高性能計算平臺，云計算可以提供“幾乎無

2、限”的計算和存儲能力。云計算為海量數(shù)據(jù)的存儲和處理提供了一種新的解決方案。Hadoop是一個對大數(shù)據(jù)進行分布式處理的云計算框架，它可以使用戶在不了解分布式系統(tǒng)底層細節(jié)的情況下，開發(fā)分布式程序?qū)Υ髷?shù)據(jù)進行處理，作為一個開源的系統(tǒng)，Hadoop成為企業(yè)界和研究領(lǐng)域的熱點。
　　本文通過對 Hadoop的深入分析和研究，根據(jù)交易記錄查詢系統(tǒng)的需求，設(shè)計并實現(xiàn)了基于Hadoop的海量交易記錄查詢系統(tǒng)。首先對Hadoop及其相關(guān)技術(shù)做了研究

3、，著重介紹了Hadoop云計算框架中的HDFS分布式文件系統(tǒng)和 HBase分布式數(shù)據(jù)庫，分別介紹了 HDFS的特性、系統(tǒng)框架、副本存放策略和HBase的系統(tǒng)框架及數(shù)據(jù)模型。其次，重點分析了HBase的存儲特點，通過分析HBase的數(shù)據(jù)存儲方式、Region定位方式和寫數(shù)據(jù)過程，提出了系統(tǒng)設(shè)計的優(yōu)化和改進建議。接著，對基于Hadoop的海量交易記錄查詢系統(tǒng)進行了設(shè)計和實現(xiàn)，主要包括數(shù)據(jù)接入層、存儲層和查詢層；為了解決集群中節(jié)點時間不同步的