圖像語義理解的關鍵技術研究.pdf

1、人類視覺系統(tǒng)感知和識別圖像的過程是一個從形象到抽象的過程，而且在該過程中加入了豐富的先驗知識作為指導。與此對應地，圖像理解研究可以分成底層、中層和高層三個層次。針對圖像理解的三個層次中面臨的主要技術挑戰(zhàn)，本文重點研究三個關鍵技術：圖像視覺特征的有效表述、圖像多區(qū)域的合理分割、以及圖像語義標注中上下文信息的擴大化。在每個關鍵技術的研究中，本文分別提出了新的數(shù)學模型與表達形式，設計了新的算法并得以應用。具體而言，本文的研究內(nèi)容歸納如下：

2、r>　?。?）針對視覺特征的有效表述問題，利用模糊邏輯推理的原理與結構提取顏色視覺特征，提出一種結合視覺感知的空間模糊鏈接顏色直方圖（SpatialFuzzy Linking Histogram，SFLCH）。SFLCH考慮了不同種顏色特征之間的相似性和同種顏色特征之間的差異性，并記錄了圖像不同區(qū)域內(nèi)像素的顏色分布信息，具有較好的圖像內(nèi)容表述能力，以及操作簡單、容易實現(xiàn)等優(yōu)點。此外，還定義了“顏色復雜度”概念來描述圖像局部區(qū)域內(nèi)像素顏色

3、的變化程度，將人類視覺感知作用融入到計算機對圖像的分類與識別的過程中，構造了基于顏色復雜度的加權相似度測量機制，進一步提高了視覺特征的表述能力，取得了良好的圖像分類效果。
　?。?）針對使用FCM算法進行圖像分割時存在對初始條件和噪聲敏感的問題，提出了一種基于區(qū)域顯著色初始策略的聚類分割算法。利用彩色圖像的顏色信息作為確定聚類初始條件的依據(jù)，通過相鄰像素顏色差異度的約束，限制了噪聲對判定顯著色的干擾，增強了該方法的準確性，克服了F

4、CM算法對聚類初始條件和噪聲的敏感性。通過在簡單的顏色數(shù)據(jù)集合中尋找顯著色的實驗，結果表明區(qū)域顯著色初始策略確定的區(qū)域代表顏色與實際視覺效果一致，初始聚類中心分別包含在各個區(qū)域內(nèi)，具有較好的代表性。并且定義了模糊因子，將像素的鄰域空間關系融入到聚類過程中，由于模糊因子是一個隨著像素空間位置的不同而發(fā)生變化的變量，使得空間信息的融合方式具有自適應性，提高了算法的魯棒性，獲得了較高的分割精度。
　?。?）為了進一步提高分割區(qū)域的穩(wěn)定性

5、，并實現(xiàn)圖像的自動分割，提出了一種無監(jiān)督圖割算法。通過圖像數(shù)據(jù)向高維特征空間的映射，擴展了分段常數(shù)模型的實際使用范圍，實現(xiàn)了復雜圖像數(shù)據(jù)的線性可分，不僅提高了圖像區(qū)域的分割效果，還降低了計算量。同時，在平滑項中增加了邊緣梯度信息，提高了邊緣的劃分精度，減少了過分割的出現(xiàn)，并且采用多標簽交換算法，通過迭代逼近能量函數(shù)最小值的方法，解決了包含多類標簽的能量函數(shù)優(yōu)化問題，得到圖像所有像素的區(qū)域標簽的最優(yōu)分配結果。這種圖像分割方法具有較好的多區(qū)

6、域分割效果，符合人類視覺感知圖像的要求，并且無需預先設定區(qū)域標簽類別的種子點像素，實現(xiàn)了計算機對圖像進行多區(qū)域的自動分割，取得了以語義理解為前提的圖像多區(qū)域分割的理想效果。
　?。?）針對單獨標注像素會引起語義標注結果不一致的問題，充分利用像素之間存在的上下文信息，提出了一種融合多粒度上下文的條件隨機場模型（Multi-granular Context Conditional Random Field，MGCCRF）。通過構造多粒

7、度鄰域集合，獲得了不同粒度的上下文窗口，為像素標注提供不同尺度的上下文信息。在像素級圖像語義標注的過程中，細粒度上下文信息通過描述近距離的鄰域位置之間的局部相互作用，用來保持目標的精確邊界，生成連續(xù)的目標表面；而粗粒度上下文信息則用來描述語義類別之間的空間共生關系，目的是提高圖像中目標的識別率。該語義標注模型既表征了語義標簽在局部區(qū)域內(nèi)具有的傳遞特性，同時還融入了圖像中蘊含的語義類別的共生關系，使得標注模型融合了豐富的圖像信息，具有較高

8、的圖像標注精確度。在模型訓練過程中采用分支定界參數(shù)優(yōu)化算法與并行式分段相結合的訓練方法，提高了模型的訓練效率。
　　本文的創(chuàng)新性成果總結如下：
　　（1）提出了SFLCH，將顏色特征的模糊表征與空間分布信息相結合，并構建了基于顏色復雜度的相似度量機制，提高了視覺特征的表述能力。
　?。?）提出了基于區(qū)域顯著色初始策略的空間FCM算法，改進了聚類分割算法的初始化操作，算法抑制了噪聲對判定顯著色的干擾，融入了具有自適應性的

9、空間信息，提高了圖像分割的準確率。
　?。?）提出了無監(jiān)督圖割方法，該方法采用核函數(shù)對數(shù)據(jù)項進行隱性的非線性映射，在平滑項中融入了邊緣梯度約束，既提高了復雜區(qū)域的分割效果，又減少了過分割現(xiàn)象。同時，采用無監(jiān)督方法設置初始參數(shù)，避免了交互操作，實現(xiàn)了圖像的自動分割。
　?。?）提出了 MGCCRF，利用粒計算的?；枷?，擴大了像素標注模型中的上下文信息獲取范圍，提高了像素標注的準確率和目標識別率。這一方法已申報國家發(fā)明專利“融