循環(huán)神經(jīng)網(wǎng)絡(luò)門(mén)結(jié)構(gòu)模型研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展，許多的數(shù)據(jù)需要通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行分析和處理。這其中大部分?jǐn)?shù)據(jù)都具有時(shí)序或上下文前后的相關(guān)性，例如語(yǔ)音、文本、圖片、視頻等，而循環(huán)神經(jīng)網(wǎng)絡(luò)能夠利用自身特點(diǎn)很好的處理這些具有序列依賴(lài)的數(shù)據(jù)。傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)領(lǐng)域的一部分，在處理越來(lái)越復(fù)雜的問(wèn)題的時(shí)候仍然存在許多不足，例如如何在深層網(wǎng)絡(luò)訓(xùn)練中仍能保持良好的學(xué)習(xí)效果，又或是如何進(jìn)一步提高循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和準(zhǔn)確性等。
　　針對(duì)上述兩方面問(wèn)題，本文結(jié)合基于門(mén)

2、結(jié)構(gòu)的長(zhǎng)短期記憶(LSTM)和門(mén)結(jié)構(gòu)循環(huán)單元(GRU)等模型，提出了門(mén)結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)模型:
　　(1)針對(duì)深層神經(jīng)網(wǎng)絡(luò)中收斂較慢和訓(xùn)練效果較差的問(wèn)題，本文結(jié)合Highway網(wǎng)絡(luò)等用于解決深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效率的模型，提出了一種將層間信息進(jìn)行跨層連接的門(mén)結(jié)構(gòu)單元(Cross-layer Gated Unit，CGU)，使得不同層之間的數(shù)據(jù)在反向梯度下降的過(guò)程中也能像LSTM和GRU那樣對(duì)層間數(shù)據(jù)進(jìn)行選擇和遺忘，從而提高深層網(wǎng)絡(luò)

3、下的模型學(xué)習(xí)效果。
　　(2)針對(duì)淺層神經(jīng)網(wǎng)絡(luò)如何進(jìn)一步提高模型的訓(xùn)練速度和準(zhǔn)確性的問(wèn)題，本文結(jié)合了GRU和最小門(mén)結(jié)構(gòu)單元(Minimal Gated Unit，MGU)，提出了兩種簡(jiǎn)化的門(mén)結(jié)構(gòu)單元(Simplified Gated Unit，SGU)，從結(jié)構(gòu)上分為SGU-u和SGU-m。SGU通過(guò)減少門(mén)結(jié)構(gòu)數(shù)量，改變門(mén)結(jié)構(gòu)連接，嘗試減少門(mén)結(jié)構(gòu)學(xué)習(xí)過(guò)程中的參數(shù)訓(xùn)練量，在保持剩余門(mén)結(jié)構(gòu)有效工作的同時(shí)，提高模型的訓(xùn)練速度。