基于Spark的大規(guī)模RNNLM系統(tǒng).pdf

1、自然語言處理作為人工智能中的重要問題，一直是研究與開發(fā)的熱點；其中基于遞歸神經(jīng)網(wǎng)絡(luò)的語言模型（RNNLM）具有非常強大的功能和魯棒性，但由于傳統(tǒng)計算技術(shù)和計算系統(tǒng)的限制，難以構(gòu)建大規(guī)模的RNNLM系統(tǒng)，制約了RNNLM的準確性等。
　　本文在分析現(xiàn)有串行和基于GPU的RNNLM系統(tǒng)的基礎(chǔ)上，針對影響RNNLM中計算量的因素，在Spark平臺上，設(shè)計了面向大規(guī)模RNNLM的結(jié)構(gòu)。
　　改變了通過提高矩陣計算速度提高RNNLM系

2、統(tǒng)性能的方式，模擬生物神經(jīng)網(wǎng)絡(luò)的并行特性，設(shè)計了基于并行神經(jīng)元的RNNLM，以邏輯神經(jīng)元為單位，實現(xiàn) RNNLM的分布式并發(fā)，從而將龐大的矩陣運算轉(zhuǎn)變?yōu)榉植际竭壿嬌窠?jīng)元的一階運算，極大的提高了RNNLM的效率，為構(gòu)建大規(guī)模RNNLM奠定了基礎(chǔ)。經(jīng)過測試，利用Spark計算框架優(yōu)化RNNLM系統(tǒng)，將NxM的矩陣拆分到各個節(jié)點中計算，每個神經(jīng)元只需要計算某一行數(shù)據(jù)，將龐大的計算量遷移到計算節(jié)點中這會大大降低時間開銷，系統(tǒng)計算速率提升將近20

3、倍，將語料擴大之后仍然適用。
　　接著分析了分布式平臺和RNNLM中制約計算性能的因素，設(shè)計了基于參數(shù)合并的廣播式傳輸策略、基于NVM的容錯機制和面向分布式RNNLM的內(nèi)存優(yōu)化機制，從提高分布式RNNLM中參數(shù)通信效率和針對RNNLM提高Spark性能兩方面進行了改進，系統(tǒng)計算速率提升7-15倍。
　　最后在Spark平臺上，實現(xiàn)了大規(guī)模分布式RNNLM的原型系統(tǒng)，分別使用微軟語料和RNNLM Toolkit語料，對傳統(tǒng)的R