跨模態(tài)人臉圖像生成方法研究

1、國內(nèi)圖書分類號：TP391.4學(xué)校代碼：10213國際圖書分類號：612.3密級：公開工學(xué)碩士學(xué)位論文工學(xué)碩士學(xué)位論文跨模態(tài)人臉圖像生成方法研究碩士研究生：黨蕓琦導(dǎo)師：左旺孟教授申請學(xué)位：工學(xué)碩士學(xué)科：計(jì)算機(jī)科學(xué)與技術(shù)所在單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院答辯日期：2016年6月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)萬方數(shù)據(jù)哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文I摘要隨著智能移動設(shè)備和互聯(lián)網(wǎng)走進(jìn)千家萬戶，不同風(fēng)格的人臉照片圖像在專業(yè)領(lǐng)域以及人們?nèi)粘Ｉ钪卸际殖?/p>

2、見。例如照片風(fēng)格和素描風(fēng)格的人臉圖像，可見光和近紅外風(fēng)格人臉圖像等，因此經(jīng)常需要對不同風(fēng)格的圖像進(jìn)行相互轉(zhuǎn)化。譬如，從人臉照片圖像生成對應(yīng)的素描人臉，以滿足數(shù)字娛樂或?qū)I(yè)領(lǐng)域的實(shí)際應(yīng)用需要。自動的跨模態(tài)人臉合成旨在將人臉圖像在不同風(fēng)格下進(jìn)行轉(zhuǎn)化，作為目前具有挑戰(zhàn)性的一項(xiàng)任務(wù)，具有重要的研究意義。目前針對此項(xiàng)任務(wù)提出了很多方法，但是仍然在視覺效果等方面存在不足。本文針對跨模態(tài)人臉合成進(jìn)行算法改進(jìn)。首先提出基于引導(dǎo)圖像濾波的兩步細(xì)節(jié)增強(qiáng)算法

3、，第一步是基于KNN的基準(zhǔn)算法，對測試圖像小塊在訓(xùn)練集源模態(tài)圖像中搜索與其最相像的圖像小塊，并利用與之對應(yīng)的目標(biāo)模態(tài)圖像小塊進(jìn)行線性組合，以此估計(jì)測試圖像小塊的目標(biāo)模態(tài)初始合成結(jié)果；第二步對初始合成結(jié)果應(yīng)用引導(dǎo)圖像濾波，將輸入測試圖像作為引導(dǎo)圖像，以此彌補(bǔ)以往算法面部細(xì)節(jié)缺失的不足。通過定性的實(shí)驗(yàn)評估，該方法在保持全局特征基礎(chǔ)上能夠有效增強(qiáng)面部細(xì)節(jié)，例如能有效恢復(fù)頭發(fā)紋理、瞳孔亮光等細(xì)節(jié)。第二，在此基礎(chǔ)上，進(jìn)一步提出結(jié)構(gòu)化細(xì)節(jié)增強(qiáng)跨模態(tài)

4、人臉合成算法，主要思想是對面部五官和其他部分采用不同的合成策略，從而有效地解決面部五官的合成上缺失陰影細(xì)節(jié)的問題。第三，針對某些測試圖像的合成結(jié)果存在面部五官位置偏差的現(xiàn)象，通過實(shí)驗(yàn)分析發(fā)現(xiàn)是由于訓(xùn)練集源模態(tài)和目標(biāo)模態(tài)五官并非完全對齊，因此提出基于對齊訓(xùn)練集來改善實(shí)驗(yàn)結(jié)果的策略。同時(shí)，針對素描人臉圖像改進(jìn)面部特征點(diǎn)算法，并將其應(yīng)用到對齊數(shù)據(jù)集上，該方法可以有效改善面部五官合成位置偏移、輪廓不清晰的問題。本文還將對齊訓(xùn)練集也應(yīng)用到基于卷積