一個(gè)針對(duì)日志流分析的獨(dú)立解壓縮算法.pdf

1、當(dāng)今因特網(wǎng)和云服務(wù)每天都要產(chǎn)生數(shù)量驚人的日志流，存儲(chǔ)日志流消耗了大量的磁盤空間并產(chǎn)生巨額的開銷。人們通常在將日志存儲(chǔ)到磁盤前對(duì)其進(jìn)行壓縮以減少數(shù)據(jù)的大小，但傳統(tǒng)的壓縮方法在日志分析的場(chǎng)景中存在一個(gè)問題，即它們?cè)讷@取相關(guān)的日志項(xiàng)時(shí)需要解壓縮很多大塊的數(shù)據(jù)，這使得解壓縮過程很慢而且會(huì)消耗大量的計(jì)算資源。
　　本論文提出一個(gè)針對(duì)具有良好格式的日志流的列式壓縮方法，這一方法使得每個(gè)日志條目在用于日志分析時(shí)能夠獨(dú)立解壓縮。針對(duì)日志的特點(diǎn)，將

2、每一個(gè)日志條目分成多個(gè)列，并對(duì)每個(gè)列采用不同的模型進(jìn)行壓縮。此外，還做了許多其他的改進(jìn)，如將經(jīng)常出現(xiàn)的模式視為短語，用輔助單詞列表來處理壓縮過程中遇到的新單詞。已經(jīng)將這一壓縮方法實(shí)現(xiàn)為一個(gè)庫并且將其向公眾發(fā)布。還將其整合到兩個(gè)不同的應(yīng)用中，一個(gè)是日志搜索系統(tǒng)，另一個(gè)是日志連接系統(tǒng)。
　　實(shí)驗(yàn)結(jié)果表明我們的壓縮策略（Cowic）在解壓縮時(shí)間上勝于傳統(tǒng)的壓縮方法，同時(shí)有著與之相媲美的壓縮率。對(duì)于Apache訪問日志，Cowic壓縮算法