異源圖像融合及其評價方法的研究.pdf

1、異源圖像融合是協(xié)同使用不同類型的圖像傳感器，并將各種圖像信息有效地結(jié)合起來，形成高性能感知系統(tǒng)來獲取對同一目標(biāo)的一致性描述的過程。該技術(shù)從多信息的視角進(jìn)行處理，可綜合各圖像之間的互補(bǔ)信息和冗余信息，擴(kuò)大傳感器的工作范圍，增加置信度、改善系統(tǒng)的可靠性和可維護(hù)性，降低對單一傳感器的性能要求，可更為準(zhǔn)確、可靠、全面地獲取對目標(biāo)或場景的信息描述，不僅可以使處理后的圖像更適合人的視覺觀察，而且可以為進(jìn)一步的圖像處理提供更有效的信息。 將異

2、源圖像中具有代表性的紅外圖像和可見光圖像作為研究對象，結(jié)合紅外技術(shù)、圖像處理與人工智能理論，分析、吸收國內(nèi)外關(guān)于圖像融合的成功經(jīng)驗，設(shè)計了基于空間域和變換域的兩類新型異源圖像融合算法，并建立了一種新型的融合圖像質(zhì)量綜合評價標(biāo)準(zhǔn)，在此基礎(chǔ)上，建立了閉環(huán)式圖像自適應(yīng)融合體系，可由系統(tǒng)自動選擇符合用戶需求的融合方案，其分層式處理結(jié)構(gòu)保證了融合算法的快速性和準(zhǔn)確性，增強(qiáng)了圖像融合的自動化程度。 首先研究了基于空間域的異源圖像融合方法。對

3、現(xiàn)有的空間域融合方法進(jìn)行了分析，如加權(quán)平均融合法、灰度極值法等，通過融合實驗，比較了各自的優(yōu)缺點(diǎn)。在此基礎(chǔ)上，提出了一種基于K-L變換（Karhunen-Loeve Transform）的自動加權(quán)融合算法。它保持了現(xiàn)有的加權(quán)平均融合法的快速實用性，通過主成分分析，將源圖像中的有用信息集中到相互獨(dú)立的新主成分矩陣中，由此確定加權(quán)平均融合方法中源圖像的加權(quán)系數(shù)，以實現(xiàn)更加理想的融合效果。實驗結(jié)果表明，基于K-L變換的自動加權(quán)融合算法的效果優(yōu)

4、于現(xiàn)有的常用空間域融合算法。 重點(diǎn)研究了基于變換域的異源圖像融合方法。對變換域中典型的多尺度分析理論進(jìn)行了論述，對其中具有代表性的小波變換技術(shù)及其在圖像融合中的應(yīng)用做出了詳細(xì)說明，結(jié)合具體的實驗，討論了不同小波基、不同分解層數(shù)和不同融合規(guī)則對融合效果的影響，分析了小波變換融合法的優(yōu)勢和局限性。在此之上，重點(diǎn)討論了各向異性多尺度分析融合法，以NSCT（Non-sampled Contourlet Transform，非下采樣Con

5、tourlet變換）為主要工具，給出了該方法在圖像融合中應(yīng)用的特點(diǎn)，并以此為基礎(chǔ)，設(shè)計了全新的融合規(guī)則，提出了一種基于NSCT和PCNN（Pulse Couple Neural Network，脈沖耦合神經(jīng)網(wǎng)絡(luò)）的異源圖像融合方法，充分利用了NSCT的各向異性、多方向性和平移不變性，消除了以往多尺度分解帶來的頻率混疊現(xiàn)象，又結(jié)合了PCNN的全局耦合特性，利用其特有的生物學(xué)背景，提高融合圖像的整體視覺效果。實驗結(jié)果表明，使用該方法得到的融

6、合圖像清晰自然，適合人眼觀察，其融合效果優(yōu)于現(xiàn)有的小波變換法等變換域融合算法。 研究和分析了異源圖像融合質(zhì)量的綜合評價方法。在介紹了現(xiàn)有主、客觀圖像評價方法的基礎(chǔ)上，對已有的多種評價指標(biāo)進(jìn)行了分類，討論了不同融合目的下的指標(biāo)選取規(guī)則以及單個評價指標(biāo)的局限性；而后，重點(diǎn)研究了現(xiàn)有的多評價指標(biāo)綜合化方法，比較了幾種典型方法的優(yōu)缺點(diǎn)。并在此基礎(chǔ)上，提出了一種基于FNN（Fuzzy Neural Network，模糊神經(jīng)網(wǎng)絡(luò)）的圖像融合

7、質(zhì)量綜合評價方法，結(jié)合了模糊邏輯推理的結(jié)構(gòu)性知識表達(dá)能力和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，將多種典型的圖像融合客觀評價指標(biāo)進(jìn)行模糊化，以主觀評價結(jié)論作為先驗知識，通過網(wǎng)絡(luò)學(xué)習(xí)自動生成評價指標(biāo)權(quán)重等相關(guān)參數(shù)，并通過動量因子提高了網(wǎng)絡(luò)的學(xué)習(xí)效率。實驗結(jié)果表明，該方法可對圖像融合質(zhì)量進(jìn)行全面、準(zhǔn)確的評價，在很大程度上克服了單純由人眼判決產(chǎn)生的主觀性和單因素客觀評價指標(biāo)的片面性。 研究了異源圖像融合自適應(yīng)體系。基于上一章中給出的圖像融合綜合評價方

8、法，建立了一種閉環(huán)式的自適應(yīng)圖像融合模型，以融合算法的復(fù)雜度為標(biāo)準(zhǔn)進(jìn)行分層，將多種特性不同的圖像融合算法進(jìn)行串行排列，由系統(tǒng)自動選取符合用戶需求的融合方案，克服了開環(huán)融合系統(tǒng)靈活性差的缺點(diǎn)。此外，模型內(nèi)的算法可靈活添加，具有很好的可擴(kuò)展性。為了驗證模型的有效性，選擇加權(quán)平均融合法、小波變換融合法、Contourlet融合法和NSCT-PCNN融合法為算法集進(jìn)行融合實驗。實驗結(jié)果表明，該體系建立了融合結(jié)果與用戶需要之間的有機(jī)聯(lián)系，融合過程