線聯(lián)網(wǎng)圖像高效標(biāo)注和解譯的關(guān)鍵技術(shù)研究.pdf

1、作為支持互聯(lián)網(wǎng)大規(guī)模圖像檢索的一種有效和實(shí)用方法，互聯(lián)網(wǎng)圖像自動(dòng)標(biāo)注和理解已成為學(xué)術(shù)界和產(chǎn)業(yè)界的熱點(diǎn)問(wèn)題而被深入研究。本文研究了圖像視覺(jué)內(nèi)容與伴隨文本語(yǔ)義之間的潛在關(guān)聯(lián)關(guān)系挖掘、圖像解譯、大規(guī)模數(shù)據(jù)聚類以及圖像視覺(jué)特征深度學(xué)習(xí)等關(guān)鍵性問(wèn)題。論文的主要工作有：
　　 一、提出了一種基于數(shù)據(jù)驅(qū)動(dòng)的互聯(lián)網(wǎng)圖像自動(dòng)標(biāo)注和理解框架(AutomaticWeb Image Annotation and Interpretation，AWIAI

2、)。在圖像自動(dòng)標(biāo)注過(guò)程中，AWIAI框架先計(jì)算圖像伴隨文本中單詞可見(jiàn)度屬性來(lái)構(gòu)建“圖像-單詞”關(guān)系矩陣，然后對(duì)該關(guān)系矩陣進(jìn)行隱性文法分析以擴(kuò)展備選標(biāo)注單詞，最后通過(guò)圖像視覺(jué)內(nèi)容的無(wú)監(jiān)督學(xué)習(xí)和對(duì)單詞兩兩共生關(guān)系進(jìn)行分析和排序，得到圖像標(biāo)注最終結(jié)果。
　　 二、在圖像自動(dòng)標(biāo)注結(jié)果的基礎(chǔ)上，提出了圖像解譯的概念和具體實(shí)現(xiàn)方法。現(xiàn)有圖像自動(dòng)標(biāo)注方法未能對(duì)標(biāo)注單詞之間存在的語(yǔ)法關(guān)系進(jìn)行分析，因此得到的圖像標(biāo)注結(jié)果是若干離散單詞，難以對(duì)圖像

3、所蘊(yùn)含豐富語(yǔ)義進(jìn)行自然語(yǔ)言的深層次描繪(如對(duì)圖像產(chǎn)生“熊貓吃竹子”的分析結(jié)果)。該方法在AWIAI框架下得到圖像標(biāo)注單詞后，分析標(biāo)注單詞之間的語(yǔ)句關(guān)系，產(chǎn)生句法群組，以自然語(yǔ)言方式對(duì)目標(biāo)圖像內(nèi)容進(jìn)行解譯。
　　 三、對(duì)存在致密相似度關(guān)系的大規(guī)模數(shù)據(jù)，本文針對(duì)性提出了兩種改進(jìn)的近鄰傳播聚類的方法，即在聚類過(guò)程中通過(guò)局部信息傳遞來(lái)加快整體信息傳遞速度的方法，以及通過(guò)對(duì)局部采樣數(shù)據(jù)進(jìn)行信息傳遞，再將其它數(shù)據(jù)內(nèi)嵌進(jìn)去從而得到快速全局近似

4、結(jié)果的方法。AWIM框架以數(shù)據(jù)驅(qū)動(dòng)為核心進(jìn)行圖像智能處理，因此需要解決大規(guī)模數(shù)據(jù)高效聚類這一難點(diǎn)問(wèn)題。
　　 四、在AWIM的圖像理解過(guò)程中，本文提出了一種結(jié)合模型和數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法(Deep Model-based and Data-drvien，DMD)來(lái)提取圖像理解中最具區(qū)別性的視覺(jué)特征。近來(lái)神經(jīng)科學(xué)理論研究成果認(rèn)為大腦對(duì)外界視覺(jué)信息感知是一個(gè)逐層學(xué)習(xí)過(guò)程。DMD方法通過(guò)一個(gè)從簡(jiǎn)單到復(fù)雜的深度學(xué)習(xí)流程來(lái)提取圖像視覺(jué)特