圖像語義分割算法研究.pdf

1、互聯(lián)網(wǎng)的普及和多媒體技術(shù)的飛速發(fā)展，造就了以圖像為代表的多媒體信息呈現(xiàn)爆炸式的增長。海量的數(shù)據(jù)帶來了存儲、檢索、管理等多方面的挑戰(zhàn)。現(xiàn)行主要搜索引擎均是基于把圖像數(shù)據(jù)的文本描述，缺乏準確性，不僅如此，在大規(guī)模網(wǎng)絡(luò)圖像的背景下，大量多媒體數(shù)據(jù)缺乏文本描述。因此如何自動對海量圖像數(shù)據(jù)進行有效的組織和管理，以及如何對于每幅圖像產(chǎn)生有效的結(jié)構(gòu)化描述信息就成為了亟待解決的問題。
　　在本文中，我們研究大規(guī)模圖像檢索和理解中的兩個重要任務(wù):圖

2、像自動標注和圖像語義分割;深入理解其中存在的問題并提出了全新的解決方案。
　　圖像自動標注方法使用人工標注的圖像對計算機進行訓(xùn)練，主要目的是使得計算機能夠自動對沒有標注的圖像添加語義標簽，列出其中存在的語義類別。傳統(tǒng)的基于內(nèi)容的圖像檢索系統(tǒng)需要實時根據(jù)圖像內(nèi)容提取的特征來計算兩幅圖像的相似程度，相比而言，僅基于文本的語義標簽檢索復(fù)雜度則低得多。網(wǎng)絡(luò)圖像的激增極大地豐富了人工標注圖像的數(shù)量，因此自動圖像標注的研究對于當(dāng)前環(huán)境下大規(guī)模

3、圖像檢索和理解有著非常重要的應(yīng)用意義。
　　然而自動圖像標注模型主要基于圖像層面的特征和標簽，其局限性在于無法提供每個標簽的位置，造成了不準確的結(jié)果。近年來，以獲得每個區(qū)域乃至于像素的語義類別為目標的語義分割引起了全新的研究熱潮。
　　為了更全面地學(xué)習(xí)圖像及其區(qū)域中的語義，本文提出了一個基于多圖學(xué)習(xí)和塊對角化約束的全監(jiān)督語義分割方法。由于每種特征均從一個或者多個角度對圖像進行描述，很難確定對于每個語義類別時，哪種特征是更為有

4、效的。本文提出的全監(jiān)督語義分割方法首先通過塊對角化約束各個特征關(guān)系矩陣，隨后建立各個特征下超像素之間的相似度和其語義相似度的一致性，進而學(xué)習(xí)超像素之間的多角度相似度。我們將上述過程定義為凸優(yōu)化問題并提出了高效的解決方案。最終的超像素標簽預(yù)測通過學(xué)習(xí)得到的多角度相似度關(guān)系圖確定。
　　傳統(tǒng)方法依賴于對每一個像素精確標注的圖像來進行模型的訓(xùn)練，資源十分有限。相比之下，如果嘗試只利用圖像層面的標簽來訓(xùn)練語義分割模型，則監(jiān)督信息大大弱化，

5、這類問題被稱為弱監(jiān)督的語義分割問題。擁有充分的有標簽圖像作為資源的同時，該類問題的困難也是十分明顯的:沒有準確的區(qū)域語義信息，使用圖像的標簽很難訓(xùn)練區(qū)域的分類器。
　　不同于已有的弱監(jiān)督語義分割方法嘗試用不準確的信息訓(xùn)練分類器，我們提出了一種全新的基于高維特征子空間分布的分類器評估方法來解決該問題。對于每個語義類別，我們隨機采樣產(chǎn)生若干個候選分類器，并利用稀疏重構(gòu)的方法獲得每個分類器對應(yīng)子空間的基。利用該組基重構(gòu)該類別的正負樣本，

6、將二者之間的差異作為評估準則，最終選出較優(yōu)的分類器對測試集合進行分類。為了提升方法的效率，避免隨機采樣在高維空間產(chǎn)生的高昂代價，我們還提出了一個基于高斯混合模型的迭代合并更新算法來擬合參數(shù)及其對應(yīng)得分的條件分布以確定最優(yōu)分類器的可能區(qū)域。
　　本文提出的全監(jiān)督與弱監(jiān)督語義分割方法分別在當(dāng)前研究領(lǐng)域的主流數(shù)據(jù)集上進行了運行和測試，均取得了較好的效果。尤其值得一提的是，即使在弱監(jiān)督環(huán)境下，本文所提出的方法的分類精度依然超過了一些全監(jiān)督