基于視覺(jué)顯著性的網(wǎng)絡(luò)丟包圖像和視頻的客觀質(zhì)量評(píng)估方法研究.pdf

1、隨著網(wǎng)絡(luò)視頻在娛樂(lè)、教育、商業(yè)等方面越來(lái)越廣泛的應(yīng)用,高品質(zhì)的視頻壓縮技術(shù)不斷推陳出新,用戶(hù)對(duì)高質(zhì)量視頻的需求也隨之不斷提高。然而,以網(wǎng)絡(luò)為載體的視頻數(shù)據(jù)除了會(huì)遭受有損壓縮帶來(lái)的量化編碼失真,還會(huì)在傳輸過(guò)程中遭遇信道傳輸?shù)膿砣蜓舆t而造成的數(shù)據(jù)包丟失。由于視頻的壓縮和解碼中廣泛采用了空間-時(shí)間運(yùn)動(dòng)估計(jì)技術(shù),因此,視頻數(shù)據(jù)包的丟失會(huì)嚴(yán)重影響解碼后終端視頻的觀看質(zhì)量。受網(wǎng)絡(luò)丟包損傷的圖像和視頻具有獨(dú)特的視覺(jué)特征,而目前的客觀質(zhì)量評(píng)估研究還主

2、要集中在對(duì)壓縮編碼失真的評(píng)估。因此,對(duì)受丟包影響的圖像和視頻進(jìn)行有效地評(píng)估,特別是建立一種符合人眼視覺(jué)感知特性的客觀質(zhì)量評(píng)估方法,對(duì)于網(wǎng)絡(luò)服務(wù)的設(shè)計(jì)和監(jiān)控具有重要的意義。
　　 本研究主要面向受網(wǎng)絡(luò)丟包損傷的圖像和視頻,從研究丟包失真圖像和視頻的視覺(jué)特征出發(fā),結(jié)合人眼視覺(jué)的選擇性注意特性,提出了基于視覺(jué)顯著性的全參考客觀質(zhì)量評(píng)估模型。本文的主要研究?jī)?nèi)容及貢獻(xiàn)如下:
　　 在對(duì)網(wǎng)絡(luò)丟包失真圖像和視頻的空間-時(shí)間視覺(jué)特征進(jìn)行

3、分析的基礎(chǔ)上,本文提出結(jié)合人眼視覺(jué)系統(tǒng)的顯著性視覺(jué)注意特性來(lái)評(píng)估網(wǎng)絡(luò)丟包失真圖像和視頻的感知質(zhì)量。圖像和視頻的視覺(jué)顯著注意信息通過(guò)采用Itti的自底向上顯著區(qū)域檢測(cè)模型得到。對(duì)于動(dòng)態(tài)視頻的應(yīng)用,本文將運(yùn)動(dòng)作為另一種顯著特征,通過(guò)結(jié)合生物啟發(fā)式HR運(yùn)動(dòng)感知檢測(cè)模型,在Itti的顯著區(qū)域檢測(cè)模型中實(shí)現(xiàn)了基于生物相關(guān)的HR多尺度顯著運(yùn)動(dòng)感知模型。
　　 本文分別針對(duì)網(wǎng)絡(luò)丟包圖像和視頻構(gòu)建了兩個(gè)數(shù)據(jù)庫(kù)。原始視頻采用17個(gè)來(lái)自美國(guó)某視頻研

4、究所的標(biāo)準(zhǔn)視頻序列,并模擬網(wǎng)絡(luò)丟包事件構(gòu)造了受丟包損傷的重建圖像和視頻序列。為了排除長(zhǎng)視頻序列中由于丟包所在位置、長(zhǎng)度、以及寬恕效應(yīng)等因素的影響,使得視覺(jué)顯著性信息能夠充分反映網(wǎng)絡(luò)丟包視頻的視覺(jué)特性,每個(gè)測(cè)試視頻為只含有單個(gè)丟包事件的短視頻序列。對(duì)于每一個(gè)數(shù)據(jù)庫(kù),本文都按照ITU-R BT500-11標(biāo)準(zhǔn)嚴(yán)格實(shí)施了單激勵(lì)主觀質(zhì)量評(píng)價(jià)實(shí)驗(yàn),其結(jié)果為論文的客觀質(zhì)量方法提供了評(píng)價(jià)標(biāo)準(zhǔn)。
　　 通過(guò)探索人眼視覺(jué)系統(tǒng)自底向上以圖像數(shù)據(jù)為驅(qū)

5、動(dòng)的預(yù)注意機(jī)制原理,根據(jù)網(wǎng)絡(luò)丟包損傷圖像/視頻的空間視覺(jué)特征提出假設(shè):丟包引入的失真在視覺(jué)顯著注意區(qū)域比出現(xiàn)在背景等非視覺(jué)注意區(qū)域更影響圖像/視頻質(zhì)量。借鑒HVS對(duì)失真信息進(jìn)行加權(quán)的質(zhì)量評(píng)價(jià)思想,論文首次將視覺(jué)顯著注意信息應(yīng)用到受網(wǎng)絡(luò)丟包損傷的圖像/視頻,提出一組基于視覺(jué)顯著失真的全參考客觀質(zhì)量評(píng)估方法。
　　 通過(guò)探索人眼自項(xiàng)向下以先驗(yàn)認(rèn)知為指導(dǎo)的高級(jí)視覺(jué)注意機(jī)制原理,根據(jù)網(wǎng)絡(luò)丟包損傷圖像/視頻的空間-時(shí)間視覺(jué)特征提出假設(shè):人

6、眼總是容易被一些突然引入的異常事件,或者局部異常的區(qū)域所吸引；這是由于這些事件或區(qū)域與人眼在先驗(yàn)感知指導(dǎo)下的期望注意區(qū)域產(chǎn)生了差異,而因此導(dǎo)致了注意視線(xiàn)的改變。通過(guò)考察網(wǎng)絡(luò)丟包失真圖像/視頻與參考圖像/視頻相比在空間上引起的視覺(jué)注意變化,以及在視頻時(shí)間域上引起的不同幅度的視覺(jué)注意變化,并根據(jù)這些變化相應(yīng)的視覺(jué)顯著性在空間上的差異和在時(shí)間上的變化幅度,本文創(chuàng)新地提出基于視覺(jué)空間-時(shí)間顯著性變化的全參考客觀質(zhì)量評(píng)估方法。
　　 在對(duì)

7、以上提出的兩類(lèi)視覺(jué)顯著性質(zhì)量評(píng)估方法進(jìn)行綜合比較后,論文對(duì)所有的質(zhì)量評(píng)估方法進(jìn)行了最佳單調(diào)映射變換,并將其作為構(gòu)建統(tǒng)一評(píng)估模型的評(píng)價(jià)因子。通過(guò)應(yīng)用逐步線(xiàn)性回歸分析以及交叉驗(yàn)證方法,本文分別針對(duì)網(wǎng)絡(luò)丟包單個(gè)圖像以及視頻序列構(gòu)建了基于視覺(jué)顯著信息的線(xiàn)性評(píng)估模型。通過(guò)與傳統(tǒng)的沒(méi)有考慮視覺(jué)顯著信息的客觀質(zhì)量評(píng)估模型以及標(biāo)準(zhǔn)的視頻評(píng)估模型對(duì)比,實(shí)驗(yàn)結(jié)果表明,本文提出的基于視覺(jué)顯著性的客觀質(zhì)量評(píng)估模型能夠有效地評(píng)價(jià)網(wǎng)絡(luò)丟包損傷圖像和視頻的感知質(zhì)量,