圖像及視頻語義解析的關(guān)鍵技術(shù)研究.pdf

1、基于內(nèi)容的圖像理解和視頻解析是計算機(jī)視覺領(lǐng)域的一個基本問題，與多媒體計算、人工智能、自動控制等領(lǐng)域緊密相關(guān)。其中，圖像相關(guān)的經(jīng)典任務(wù)有圖像分類、圖像區(qū)域分割、人臉識別和圖像關(guān)鍵詞標(biāo)注等，視頻相關(guān)的任務(wù)包括目標(biāo)識別、目標(biāo)跟蹤和目標(biāo)分割等。一般來說，一個好的計算機(jī)視覺算法需要具備有效的表達(dá)模型、一致的理論基礎(chǔ)，以及高效的推理計算方法。盡管過去的文獻(xiàn)提出了大量理論與算法，但由于語義鴻溝的存在和數(shù)據(jù)的復(fù)雜性，上述問題仍然存在著巨大的挑戰(zhàn)。因此，

2、需要針對具體的應(yīng)用進(jìn)一步擴(kuò)展與增強(qiáng)現(xiàn)有的模型、理論和算法，并在公開的數(shù)據(jù)集上評測其性能。這些研究按照其理論基礎(chǔ)不同，可以歸納為以下三個方面。
　　首先，基于子空間學(xué)習(xí)理論，提出了非負(fù)圖一致算法的統(tǒng)一解，并從數(shù)學(xué)上證明了它的正確性與收斂性。子空間學(xué)習(xí)是機(jī)器學(xué)習(xí)和計算機(jī)視覺中的重要理論和學(xué)習(xí)工具，而圖結(jié)構(gòu)是圖像與視頻算法中最常用的表達(dá)。圖一致理論表明，現(xiàn)有的大多數(shù)子空間學(xué)習(xí)算法均可以歸納為以圖結(jié)構(gòu)作為表達(dá)的統(tǒng)一形式，而將圖一致理論擴(kuò)展

3、到非負(fù)分析框架中，可進(jìn)一步地增強(qiáng)子空間的判別能力。新提出的優(yōu)化過程基于更新迭代式，可用作統(tǒng)一的解平臺，求解大多數(shù)現(xiàn)有的非負(fù)數(shù)據(jù)分解間題?；诜秦?fù)圖一致理論與相關(guān)的解平臺，進(jìn)一步提出了三個新的算法，包括：1）基于映射轉(zhuǎn)換的非負(fù)分解算法，用于高效地求解新的測試樣本在新的子空間中的低維表達(dá)；2）非負(fù)關(guān)聯(lián)同分解算法，首次將非負(fù)分析、矩陣分解與多特征學(xué)習(xí)整合起來，為計算機(jī)視覺問題提供了一種強(qiáng)有力的多模學(xué)習(xí)算法；3）基于非負(fù)分解的圖像標(biāo)注修復(fù)算法，

4、在非負(fù)框架下研究圖像標(biāo)注的修復(fù)問題。在多個基準(zhǔn)測試平臺上的對比結(jié)果表明，這些算法可以達(dá)到甚至超過現(xiàn)有最優(yōu)的算法。
　　其次，擴(kuò)展稀疏編碼理論并將其應(yīng)用于高層圖像任務(wù)。稀疏編碼是信號處理與計算機(jī)視覺領(lǐng)域的一個基礎(chǔ)理論，具有完備的理論分析，但大多層視覺或者樣本結(jié)構(gòu)比較清晰的任務(wù)。為了處理更復(fù)雜的圖像任務(wù)，需要引入帶有結(jié)構(gòu)的先驗?zāi)Ｐ?。具體地，為了高效地標(biāo)注圖像的語義區(qū)域，提出了一種新的雙層稀疏編碼先驗和一個雙向標(biāo)簽傳播算法；為了充分利用

5、互聯(lián)網(wǎng)上的大規(guī)模在線圖像庫，提出一種基于雙層稀疏編碼的圖像標(biāo)注算法；為了有效地利用樣本的自然屬性，提出一種新的正值互斥正則化項，為稀疏編碼算法引入正值互斥先驗，可用于多類的半監(jiān)督分類任務(wù)。在各自的公共數(shù)據(jù)集上的對比測試表明，這些新的理論與算法都超出了現(xiàn)有的最優(yōu)算法。
　　第三方面是關(guān)于貝葉斯概率模型與采樣推理的研究，處理包括軌跡跟蹤、目標(biāo)定位和分類等在內(nèi)的視頻解析任務(wù)。主要的創(chuàng)新性貢獻(xiàn)包括：在視頻表達(dá)方面，提出了一種基于時空圖的視