基于結(jié)構(gòu)化概率模型學(xué)習(xí)的異構(gòu)數(shù)據(jù)壓縮編碼.pdf

1、數(shù)據(jù)采集、網(wǎng)絡(luò)服務(wù)和存儲(chǔ)技術(shù)的發(fā)展逐漸產(chǎn)生大量具有復(fù)雜結(jié)構(gòu)的異構(gòu)數(shù)據(jù)。具有多種統(tǒng)計(jì)特性、復(fù)雜分布的異構(gòu)數(shù)據(jù)壓縮的關(guān)鍵在于捕捉其中復(fù)雜的結(jié)構(gòu)依賴性?；诮Y(jié)構(gòu)化概率模型學(xué)習(xí)利用概率圖模型來表示異構(gòu)數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，并進(jìn)行模型推斷和學(xué)習(xí)，以及由推理算法優(yōu)化學(xué)習(xí)過程。通過優(yōu)化學(xué)習(xí)，結(jié)構(gòu)化概率模型能夠根據(jù)異構(gòu)數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，對(duì)預(yù)測(cè)問題進(jìn)行同步的集合預(yù)測(cè)，能夠產(chǎn)生少于逐個(gè)進(jìn)行預(yù)測(cè)的信息量，所以它們更適合用于異構(gòu)結(jié)構(gòu)壓縮中。本文首先根據(jù)異構(gòu)數(shù)據(jù)的結(jié)構(gòu)特

2、點(diǎn)建立廣義上下文模型，并在此基礎(chǔ)上，將基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于異構(gòu)數(shù)據(jù)壓縮中，如基因測(cè)序序列壓縮、圖像無損編碼以及視頻幀內(nèi)編碼等。
　　首先，本文拓展了采用已預(yù)測(cè)子序列后綴的經(jīng)典上下文，通過組合重排和多方向擴(kuò)展，生成多個(gè)方向上已預(yù)測(cè)符號(hào)的任意組合作為上下文，并構(gòu)建模型。對(duì)于具有多方向上已預(yù)測(cè)符號(hào)有限價(jià)組合的組合排列的上下文結(jié)構(gòu)，廣義上下文模型引入和建立模型樹來表示和選取它們的結(jié)構(gòu)，并使用歸一化最大似然函數(shù)來估計(jì)最優(yōu)上下文模型組

3、合的結(jié)構(gòu)和參數(shù)，及進(jìn)一步對(duì)廣義上下文模型類進(jìn)行上下文篩選來排除冗余模型，最終獲得最小描述長(zhǎng)度準(zhǔn)則下最優(yōu)模型組合?；谒x最優(yōu)模型組合，能夠推導(dǎo)出用于預(yù)測(cè)的加權(quán)估計(jì)概率。廣義上下文模型的模型冗余被證明為與數(shù)據(jù)大小無關(guān)。
　　廣義上下文模型充分考慮符號(hào)間依賴性，得出它們的預(yù)測(cè)概率，因此其實(shí)質(zhì)上為結(jié)構(gòu)化概率模型。將它應(yīng)用在Calgary全集中異構(gòu)數(shù)據(jù)以及可執(zhí)行程序中時(shí)，基于最大似然估計(jì)預(yù)測(cè)的壓縮性有所提升。因此可以預(yù)期基于結(jié)構(gòu)化概率模型

4、學(xué)習(xí)應(yīng)用于異構(gòu)數(shù)據(jù)壓縮中會(huì)有更好的壓縮性能。于是我們將基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于三種異構(gòu)數(shù)據(jù)：基因、圖像和視頻中。
　　本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的基因測(cè)序序列壓縮方案，通過分層預(yù)測(cè)結(jié)構(gòu)來優(yōu)化目標(biāo)和參考序列的差值以用于小波編碼。該方案為目標(biāo)序列中的每個(gè)核苷酸片段找出最匹配的參考片段，通過為包括匹配位移和大小的各種邊信息配置尋找具有最小編碼代價(jià)的片段來獲得。這樣獲得的差值序列適合于進(jìn)行小波編碼，因?yàn)槠渲蟹?hào)主要為零。同時(shí)

5、馬爾可夫鏈被用來表示各片段邊信息間依賴性，并在此約束下進(jìn)行邊信息預(yù)測(cè)。置信傳播過程被用來獲得這些預(yù)測(cè)，通過在馬爾可夫鏈各結(jié)點(diǎn)間傳播最可能預(yù)測(cè)來結(jié)構(gòu)化地預(yù)測(cè)各結(jié)點(diǎn)對(duì)應(yīng)邊信息的邊際概率，并隨時(shí)進(jìn)行更新。這種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的基因測(cè)序序列壓縮方案能夠通過目標(biāo)和參考序列的差值有效利用它們間相關(guān)性，并同時(shí)利用邊信息間的依賴性來預(yù)測(cè)概率分布減少額外編碼開銷，因此相對(duì)于參照算法能夠明顯提升編碼性能。
　　本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)

6、習(xí)的圖像無損編碼方案，能夠同時(shí)利用基于二維上下文的空間統(tǒng)計(jì)相關(guān)性進(jìn)行最優(yōu)預(yù)測(cè)，以及通過數(shù)據(jù)驅(qū)動(dòng)的結(jié)構(gòu)依賴性約束預(yù)測(cè)誤差使之與碼字估計(jì)真實(shí)分布一致。使用最大邊際馬爾可夫網(wǎng)絡(luò)，通過局部結(jié)構(gòu)一致性的聯(lián)合約束來結(jié)構(gòu)化地組合支持向量機(jī)，由此對(duì)整個(gè)相關(guān)區(qū)域進(jìn)行最大邊際估計(jì)。通過訓(xùn)練不同上下文環(huán)境下的模型參數(shù)，使得訓(xùn)練中各像素真實(shí)值與其它可能值之間的區(qū)別邊際最大，從而得到基于上下文的最優(yōu)預(yù)測(cè)。在可分解損失函數(shù)下隨著充分采樣，預(yù)測(cè)誤差能夠漸近逼近訓(xùn)練誤

7、差。自然測(cè)試圖像無損編碼的結(jié)果也驗(yàn)證了其性能。
　　本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的視頻幀內(nèi)編碼方案?；诮Y(jié)構(gòu)化概率模型學(xué)習(xí)的預(yù)測(cè)與高性能視頻編碼進(jìn)行集成，作為可選模式進(jìn)行率失真優(yōu)化，從而對(duì)整個(gè)亮度塊同時(shí)預(yù)測(cè)得到最優(yōu)率失真性能。并且使用最大邊際馬爾可夫網(wǎng)絡(luò)約束整個(gè)亮度塊基于最大邊際估計(jì)的預(yù)測(cè)，使之符合二維離散余弦變換的真實(shí)概率分布，所以拉普拉斯損失函數(shù)被用來衡量訓(xùn)練與預(yù)測(cè)中的損失。由于有損編碼中殘差通常符合拉普拉斯分布，在求