圖像描述文本自動(dòng)生成方法研究.pdf

1、使用文本句子自動(dòng)地描述圖像已經(jīng)成為了近年來的一個(gè)研究熱點(diǎn)，尤其是深度學(xué)習(xí)研究的深入，大大推動(dòng)了圖像描述文本自動(dòng)生成研究的發(fā)展。其中使用最多的技術(shù)是長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)，其不但能夠有效的記憶長(zhǎng)期和短期信息，而且還能夠解決梯度消失和梯度爆炸問題。雖然目前的相關(guān)研究在圖像描述自動(dòng)生成領(lǐng)域取得了不錯(cuò)的成果，但是仍有一些不足之處需要改進(jìn)：訓(xùn)練過程，如何根據(jù)圖像描述進(jìn)行雙向的學(xué)習(xí)訓(xùn)練，充分地學(xué)習(xí)圖像描述的上下文信息。取樣過程中，如何避免單純的

2、把上一個(gè)時(shí)刻的預(yù)測(cè)值作為當(dāng)前時(shí)刻的輸入值，減小累積誤差，避免導(dǎo)致最終錯(cuò)誤的取樣結(jié)果。如何選取更好的訓(xùn)練模型生成高質(zhì)量的文本描述。
　　針對(duì)圖像描述自動(dòng)生成領(lǐng)域中存在的問題，本文提出了一種基于計(jì)劃取樣的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的圖像描述自動(dòng)生成方法（BLSTM-S）。主要內(nèi)容為：提出了一種雙向的長(zhǎng)短期記憶網(wǎng)絡(luò)。正如本文知道的，在英語(yǔ)句子的選詞填空中，空格處單詞的確定不但與句子的上文信息有關(guān)，而且與句子的下文信息也有一定的關(guān)系。因此，雙向的

3、長(zhǎng)短期記憶網(wǎng)絡(luò)與單向的長(zhǎng)短期記憶網(wǎng)絡(luò)相比，不但能夠?qū)W習(xí)圖像描述的上文信息而且還能夠?qū)W習(xí)圖像描述的下文信息，從而能夠更準(zhǔn)確地生成圖像的文本描述信息。采用了一種基于計(jì)劃取樣的方法來取樣單詞。與之前單純地以上一個(gè)時(shí)刻的輸出值作為當(dāng)前時(shí)刻的輸入值的取樣方法相比，計(jì)劃取樣過程中本文使用一種拋硬幣的策略，隨機(jī)決定是以概率使用上一個(gè)時(shí)刻的輸出值作為當(dāng)前時(shí)刻的輸入值，或以概率（1-ε）使用上一個(gè)時(shí)刻的真實(shí)值作為當(dāng)前時(shí)刻的輸入值。能夠解決訓(xùn)練過程和取樣過