云平臺(tái)下光譜數(shù)據(jù)快速無損壓縮技術(shù)的研究.pdf

1、近年來，隨著計(jì)算機(jī)性能的大幅提升、近紅外光譜儀器的改進(jìn)和化學(xué)計(jì)量學(xué)數(shù)據(jù)處理方法的研發(fā)，光譜技術(shù)在工業(yè)、農(nóng)業(yè)、醫(yī)藥等領(lǐng)域得到了廣泛應(yīng)用。由于近紅外光譜儀器具有快速和非損壞性檢測(cè)、操作成本低、無需復(fù)雜預(yù)處理等一系列特點(diǎn)，與化學(xué)計(jì)量法相結(jié)合，非常適合煙葉成分的定性定量分析。光譜儀器會(huì)產(chǎn)生海量的數(shù)據(jù)，如何對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、分析、挖掘成為制約光譜技術(shù)應(yīng)用的瓶頸。針對(duì)這些問題，本文從以下幾個(gè)方面來進(jìn)行云存儲(chǔ)環(huán)境下光譜數(shù)據(jù)快速無損壓縮技術(shù)的研究:<

2、br>　　一、深入研究了云存儲(chǔ)的概念、體系結(jié)構(gòu)和技術(shù)原理。對(duì)云存儲(chǔ)涉及到的關(guān)鍵技術(shù)如虛擬化技術(shù)、并行編程模式、分布式文件管理作了深度剖析，重點(diǎn)分析了Hadoop平臺(tái)中使用的MapReduce、HDFS等技術(shù)原理和實(shí)現(xiàn)過程。
　　二、通過實(shí)驗(yàn)比較LZO、LZW和LZSS三種壓縮算法在使用內(nèi)存、壓縮時(shí)間、壓縮率和對(duì)不同數(shù)據(jù)壓縮效率等四個(gè)方面的不同表現(xiàn)。實(shí)驗(yàn)分析得出，在相同環(huán)境下，LZO的壓縮、解壓縮速度是另外兩種壓縮算法的20倍以上，

3、而壓縮率只比LZW和LZ77算法低10％左右。壓縮數(shù)據(jù)量越大，LZO的時(shí)間優(yōu)勢(shì)越明顯。在云平臺(tái)分布式處理和并行傳輸環(huán)境下，通過損失部分壓縮率來換取壓縮時(shí)間是值得的，LZO算法更適合近紅外光譜文件在云平臺(tái)下的快速實(shí)時(shí)壓縮。
　　三、為了提高壓縮效率，針對(duì)光譜數(shù)據(jù)的完整性要求，只需對(duì)關(guān)鍵波段壓縮就能達(dá)到目的，因此，通過連續(xù)小波變換(CWT)建立關(guān)鍵波段集檢測(cè)數(shù)學(xué)模型，可快速檢測(cè)出海量光譜、質(zhì)譜文件中的關(guān)鍵波段集。該算法可通過個(gè)性化設(shè)定