面向目標(biāo)識(shí)別的多特征融合研究與實(shí)現(xiàn).pdf

1、圖像中目標(biāo)識(shí)別的研究至今已有五十多年的歷史。2012年及之前，目標(biāo)識(shí)別多使用手工特征加分類器的方法。2012年以后，端到端訓(xùn)練的CNN(Convolutional Neural Networks)模型，成為研究熱點(diǎn)。鑒于深度學(xué)習(xí)的高精度，此時(shí)一部分學(xué)者在嘗試使用單一深度學(xué)習(xí)特征在各方面取代傳統(tǒng)特征?？紤]到單模型的泛化性能以及深度學(xué)習(xí)本身的可解釋性差的特點(diǎn)，另有一部分學(xué)者也在探索各種融合算法。目前在學(xué)術(shù)界比較公認(rèn)的融合算法按層次劃分為:數(shù)

2、據(jù)級(jí)、特征級(jí)和決策級(jí)融合。數(shù)據(jù)級(jí)融合方案多用在多傳感器信息融合中;早期的研究由于計(jì)算機(jī)計(jì)算能力的限制，主要關(guān)注于決策級(jí)融合;近年來(lái)，隨著計(jì)算能力的提升，特征級(jí)融合成為研究熱點(diǎn)，而目前仍多在探索傳統(tǒng)特征間融合算法，而隨著CNN的發(fā)展，融合多種傳統(tǒng)特征以及融合傳統(tǒng)和深度學(xué)習(xí)特征是一個(gè)值得研究的方向。
　　本文研究了三種特征融合方式:
　　(1)傳統(tǒng)特征間的特征融合。在五種較典型的特征:顏色直方圖、LBP(Local Binary

3、 Pattern)統(tǒng)計(jì)直方圖、HOG(Histogram of Oriented Gradient)特征、Gabor響應(yīng)均值、基于稠密SIFT(scale-invariant feature transform)的BoW(Bag of words)，中選擇不同的組合串行連接，之后連接一個(gè)神經(jīng)網(wǎng)絡(luò)。
　　(2)傳統(tǒng)特征直接和深度學(xué)習(xí)特征融合。選用五種較典型的傳統(tǒng)特征:顏色直方圖、LBP統(tǒng)計(jì)直方圖、HOG特征、Gabor響應(yīng)均值、基于

4、稠密SIFT的BoW，以及訓(xùn)練好的CNN抽取的特征進(jìn)行直接串行連接，然后送入神經(jīng)網(wǎng)絡(luò)中。
　　(3)傳統(tǒng)特征間接和深度學(xué)習(xí)特征融合。選用四種較典型的特征:Canny邊緣特征、LBP紋理特征、Gabor紋理特征、稠密SIFT點(diǎn)特征。將傳統(tǒng)特征以不同方式間接與深度學(xué)習(xí)特征融合。
　　融合結(jié)果在Cifar10標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行測(cè)試分析。其中傳統(tǒng)特征間融合結(jié)果相較單一傳統(tǒng)特征效果更優(yōu)，但仍低于單一深度學(xué)習(xí)特征的識(shí)別精度;傳統(tǒng)特征直接和