基于內(nèi)存的列存儲數(shù)據(jù)集動態(tài)壓縮技術(shù)的研究與應(yīng)用.pdf

1、隨著信息化產(chǎn)業(yè)的快速發(fā)展，越來越多的行業(yè)正面臨著數(shù)據(jù)量巨大、數(shù)據(jù)種類復(fù)雜、數(shù)據(jù)處理速度要求更快、數(shù)據(jù)計算準(zhǔn)確性要求更髙等一系列問題，以單機(jī)為計算工具的計算模式已經(jīng)遠(yuǎn)遠(yuǎn)無法勝任大數(shù)據(jù)計算的存儲需求和性能需求，因此以Hadoop為代表的一系列大數(shù)據(jù)計算技術(shù)應(yīng)運而生，其中最為核心的兩個工具分別為MapReduce和HDFS,分別解決了計算性能與計算存儲的問題。然而，隨著摩爾定律的放緩，近幾年磁盤的讀寫性能一直未能有突破性發(fā)展，這種需要頻繁讀寫

2、磁盤的大數(shù)據(jù)分析工具對于日漸龐大的數(shù)據(jù)量顯得越來越力不從心。針對這類問題，University of California in Berkeley的AMPLab實驗室設(shè)計了一整套以內(nèi)存計算為核心的計算框架，其目的是將數(shù)據(jù)緩存在內(nèi)存中以解決頻繁讀寫的問題。然而，在大大提髙了計算性能的同時，我們也不得不考慮內(nèi)存成本相對昂貴的問題。另一方面，對于當(dāng)前計算機(jī)體系的設(shè)計而言，整個計算系統(tǒng)的性能與擁有的內(nèi)存資源數(shù)量并非正比關(guān)系，系統(tǒng)的控制總線的吞吐

3、率還是會限制系統(tǒng)對內(nèi)存資源的調(diào)度效率。因此，如何更髙效地利用內(nèi)存資源對于內(nèi)存計算而言顯得尤為重要。
　　本論文提出了一種內(nèi)存數(shù)據(jù)集動態(tài)壓縮的壓縮策略，旨在髙效靈活地為內(nèi)存計算解決內(nèi)存資源的分配問題。通過充分測試不同壓縮算法的壓縮性能，以及詳細(xì)地研究Spark內(nèi)存計算的資源分配模型，該方案能夠針對不同的數(shù)據(jù)計算類型，分析出適合的數(shù)據(jù)壓縮算法，然后通過系統(tǒng)各方面的運行參數(shù)來判斷是否需要對數(shù)據(jù)進(jìn)行壓縮并持久化，從而達(dá)到節(jié)省內(nèi)存資源并充分

4、優(yōu)化系統(tǒng)整體性能的目的。此外，對于內(nèi)存計算數(shù)據(jù)集多數(shù)采用列式存儲的特點，應(yīng)用數(shù)據(jù)壓縮顯得尤為方便。
　　針對該論文提出的內(nèi)存數(shù)據(jù)集動態(tài)壓縮策略的設(shè)想，本文設(shè)計并實現(xiàn)了基于Spark計算框架的一套數(shù)據(jù)動態(tài)壓縮模塊，可根據(jù)計算數(shù)據(jù)的類型選擇適合的壓縮算法，根據(jù)系統(tǒng)的計算性能判斷是否需要進(jìn)行數(shù)據(jù)的壓縮和持久化。與此同時，為了將理論研究運用到實際案例中，我們設(shè)計并實現(xiàn)了一套完整的日志大數(shù)據(jù)實時處理框架，其中除了已集成我們研究的數(shù)據(jù)動態(tài)壓縮

5、策略外，我們還設(shè)計了一套統(tǒng)一的類SQL的數(shù)據(jù)查詢接口，可以供用戶同時對實時和非實時的數(shù)據(jù)進(jìn)行查詢。此外，我們的系統(tǒng)還包括了一套數(shù)據(jù)收集的消息隊列系統(tǒng)、用戶輸入SQL查詢的接口以及HTTP消息轉(zhuǎn)發(fā)的后端系統(tǒng)。在論文的最后，通過對系統(tǒng)中各個模塊進(jìn)行不同數(shù)據(jù)類型的壓力測試，驗證了系統(tǒng)的性能。具體來說，對文本統(tǒng)計等數(shù)據(jù)密集型應(yīng)用而言，動態(tài)壓縮算法的性能提升可達(dá)3.6倍；而對于圖像識別、機(jī)器學(xué)習(xí)等迭代計算較多的應(yīng)用，動態(tài)壓縮算法的性能提升可達(dá)6倍

6、之多。
　　本文提出的內(nèi)存數(shù)據(jù)集動態(tài)壓縮策略的創(chuàng)新點體現(xiàn)在三方面：首先，它針對不同的數(shù)據(jù)場景自動選擇適合的壓縮算法，大數(shù)據(jù)應(yīng)用開發(fā)人員無需對系統(tǒng)進(jìn)行反復(fù)調(diào)試與參數(shù)設(shè)置，即可在充分發(fā)揮硬件性能的基礎(chǔ)上最大化計算效率；其次，對于列式存儲數(shù)據(jù)集而言，實現(xiàn)了列級別的壓縮，并提供了一套完整的SQL查詢接口，以實現(xiàn)數(shù)據(jù)的實時與非實時查詢；最后，結(jié)合現(xiàn)在主流的大數(shù)據(jù)技術(shù)，我們將本論文的核心壓縮策略運用到日志大數(shù)據(jù)的實時分析中，有效地將理論與實際