基于弱監(jiān)督的圖像區(qū)域自動標(biāo)注算法研究.pdf

1、在本文中，我們關(guān)注一個挑戰(zhàn)性的問題——基于弱監(jiān)督的圖像區(qū)域標(biāo)注，即在數(shù)據(jù)集中只有圖像層標(biāo)簽這種弱監(jiān)督信息可以使用。圖像區(qū)域標(biāo)注在計算機(jī)視覺以及圖像信息檢索領(lǐng)域中有廣闊的應(yīng)用場景，并且能夠在一定程度上打破高層語義和在計算機(jī)中圖像的低層像素表示之間的語義鴻溝。
　　傳統(tǒng)的圖像區(qū)域標(biāo)注問題需要大量的帶有區(qū)域標(biāo)簽的數(shù)據(jù)，但是標(biāo)注這些數(shù)據(jù)是非常耗時耗力的。圖像層的標(biāo)簽，對于圖像區(qū)域標(biāo)注這較為細(xì)粒度任務(wù)具有非常的不確定性，但是圖像層標(biāo)簽非常容

2、易獲得。各種互聯(lián)網(wǎng)數(shù)據(jù)的爆炸式產(chǎn)生也為弱監(jiān)督問題提供了大量的初始數(shù)據(jù)。弱監(jiān)督圖像區(qū)域標(biāo)注目前僅有較少的研究工作，本文主要有以下貢獻(xiàn):
　　一、對弱監(jiān)督學(xué)習(xí)的解決方法進(jìn)行了完整的綜合性介紹。在弱監(jiān)督學(xué)習(xí)過程中，由于數(shù)據(jù)具有不確定性，通常情況下，需要借助上下文的信息來降低樣本標(biāo)簽的不確定性，我們稱為協(xié)同標(biāo)注。我們首先介紹了KNN和稀疏編碼兩種方式來尋找目標(biāo)的上下文信息，同時我們介紹了如何使用這種上下文信息構(gòu)建語義圖以及如何在圖上進(jìn)行標(biāo)

3、簽的傳播，本文中我們介紹了兩種標(biāo)簽傳播的方法，馬爾科夫隨機(jī)游走以及譜聚類。
　　二、提出了基于判別語義的構(gòu)建上下文的方法。我們注意到，弱監(jiān)督的圖像區(qū)域的標(biāo)注傳播主要問題在于如何找到有效的上下文信息進(jìn)行協(xié)同標(biāo)注，而傳統(tǒng)的完全基于相似性的上下文獲取方式容易導(dǎo)致過同質(zhì)化問題，即上下文超像素中的視覺信息以及圖像層標(biāo)簽都非常相似，各種語義標(biāo)簽共現(xiàn)現(xiàn)象導(dǎo)致目標(biāo)超像素的標(biāo)簽具有不確定性。所以我們提出了基于判別語義的上下文查詢方式，我們對判別語義

4、進(jìn)行了定義，在上下文查詢中，不僅僅考慮視覺相似性和語義相關(guān)性，還考慮判別語義(Discriminative Semantics)的信息。我們提出了如何根據(jù)判別語義信息構(gòu)建判別語義圖(Discriminatively Semantic Graph， DSG)。
　　三、我們提出了如何在構(gòu)建的判別語義圖上面進(jìn)行標(biāo)簽的傳播。我們通過構(gòu)建兩種語義圖將標(biāo)簽傳播分為兩個部分，在inter-image圖(DSG)上我們考慮不同圖像間的上下文信息

5、來得到超像素的標(biāo)簽分布概率。在每個intr-image圖上我們考慮每張圖像的相鄰超像素節(jié)點(diǎn)的視覺信息和語義標(biāo)簽來建立能量函數(shù)，通過Graph Cuts方法求解能力函數(shù)得到最終超像素的標(biāo)簽分配。
　　我們的實驗是在兩個數(shù)據(jù)集MS RC-21以及PASCAL VOC2007上進(jìn)行的，使用平均類別準(zhǔn)確率以及單一類別準(zhǔn)確率作為評測的指標(biāo)。我們的方法在兩個數(shù)據(jù)集的多個單一類別以及平均類別準(zhǔn)確率都取得了較高的準(zhǔn)確率，進(jìn)而證明了我們方法的有效性