基于深度學(xué)習(xí)的圖像語義分割研究.pdf

1、圖像的語義分割一直是計(jì)算機(jī)視覺領(lǐng)域的研究重點(diǎn)，而深度學(xué)習(xí)是近階段人工智能方向飛速發(fā)展的熱點(diǎn)，因此基于深度學(xué)習(xí)的機(jī)器視覺方面的應(yīng)用隨之成為全世界研究人員的熱點(diǎn)關(guān)注問題。深度學(xué)習(xí)的發(fā)展近十年來在人工智能領(lǐng)域取得了非常具有建設(shè)性的突破，也是現(xiàn)階段互聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境下最流行的智能應(yīng)用方式之一。深度學(xué)習(xí)在圖像檢索、圖像內(nèi)容分析、自然語言處理、視頻行為分析、多媒體解析等諸多寬廣的領(lǐng)域上取得了引人矚目的成功應(yīng)用。接踵而至，各種各樣的計(jì)算機(jī)視覺問題都在嘗

2、試使用深度學(xué)習(xí)的方法來進(jìn)行更為突破性的研究。本文重點(diǎn)研究基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割。研究一是針對(duì)室內(nèi)場(chǎng)景的圖像通過原始圖片的上下文信息約束來提高整體的像素級(jí)別的分割精度。研究二是將語義分割作為導(dǎo)向使用條件對(duì)抗網(wǎng)絡(luò)得到像素級(jí)別上更精準(zhǔn)、像素間更具相關(guān)性的分割結(jié)果，也是利用條件對(duì)抗網(wǎng)絡(luò)來處理圖像分割問題的研究嘗試。
　　首先介紹了傳統(tǒng)方法與深度學(xué)習(xí)方法在圖像語義分割任務(wù)上的差異，以及當(dāng)下最熱門的對(duì)抗學(xué)習(xí)方式和其中主要的生

3、成對(duì)抗網(wǎng)絡(luò)的介紹。主要分析了深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)在圖像語義分割任務(wù)上的優(yōu)勢(shì)，以及生成對(duì)抗網(wǎng)絡(luò)在圖像語義分割任務(wù)上的可行性與優(yōu)點(diǎn)。
　　室內(nèi)場(chǎng)景的語義分割有很大的應(yīng)用范圍，例如智能機(jī)器人、室內(nèi)監(jiān)控等，但由于室內(nèi)場(chǎng)景中的物體類別繁多且分布不均勻，當(dāng)分割較小的物體或物體邊緣時(shí)很容易丟失標(biāo)簽。圖片的上下文信息表達(dá)的是像素點(diǎn)之間的關(guān)聯(lián)內(nèi)容，這些內(nèi)容之間的約束能對(duì)語義分割結(jié)果產(chǎn)生有效地幫助，但目前的研究還有很多尚未充分利用的地方。本文對(duì)此提

4、出了一個(gè)可學(xué)習(xí)的上下文正則化深度卷積神經(jīng)網(wǎng)絡(luò)模型，該模型利用卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力得到原始圖片中豐富的上下文約束信息，用以加強(qiáng)語義分割結(jié)果。該正則化模型使用深度卷積分割網(wǎng)絡(luò)，但不引起明顯的額外參數(shù)增加網(wǎng)絡(luò)訓(xùn)練負(fù)擔(dān)。提出的模型利用室內(nèi)場(chǎng)景物體固有的上下文正則約束提高分割結(jié)果，可學(xué)習(xí)的約束是在網(wǎng)絡(luò)低層和網(wǎng)絡(luò)高層之間架起一個(gè)連接橋，在相鄰的RGB像素點(diǎn)使用L1約束學(xué)習(xí)上下文約束信息來輔助高層的像素點(diǎn)分類以提高分割精度。
　　基于深度

5、卷積神經(jīng)網(wǎng)絡(luò)語義分割的研究也越來越深入且取得了顯著的效果。生成式對(duì)抗網(wǎng)絡(luò)(GANs)是深度學(xué)習(xí)領(lǐng)域最新提出的比較重要的一個(gè)模型，但現(xiàn)有的主要研究大多是針對(duì)圖像生成、風(fēng)格轉(zhuǎn)移等任務(wù)，在圖像分割上的研究還不夠深入。因此本文使用生成對(duì)抗模型來研究和解決圖像語義分割任務(wù)，提出分割-對(duì)抗模型(Conditional Segmentation Generative Adversarial Networks,CSGAN)。CSGAN使用深度卷積語義分

6、割模型作為生成模型，基于輸入的RGB圖像產(chǎn)生對(duì)標(biāo)簽類預(yù)測(cè)的概率圖，逐像素計(jì)算回歸損失。CSGAN模型中的判別網(wǎng)絡(luò)對(duì)預(yù)測(cè)圖與標(biāo)簽圖的差異進(jìn)行高階規(guī)律統(tǒng)計(jì)，為生成模型提供了一個(gè)自學(xué)習(xí)的全局損失統(tǒng)計(jì)方式，不依賴人工設(shè)計(jì)的損失項(xiàng).。我們的模型保持了傳統(tǒng)語義分割模型端到端的訓(xùn)練，實(shí)驗(yàn)結(jié)果有效地表明我們的模型不但能提高分割結(jié)果中單個(gè)物體的完整性，還能保持物體間的相互獨(dú)立性。
　　本文中針對(duì)室內(nèi)場(chǎng)景的可學(xué)習(xí)的上下文正則化深度卷積神經(jīng)網(wǎng)絡(luò)模型在室