分布式深度學習中參數(shù)交換優(yōu)化機制研究.pdf

1、深度學習算法正得到越來越廣泛的關注和應用，然而隨著輸入訓練數(shù)據(jù)集和神經(jīng)網(wǎng)絡模型的增大，單節(jié)點進行深度學習訓練存在內存限制以及訓練耗時等問題，分布式深度學習應運而生。其中，參數(shù)服務器多基于分布式方法設計，普遍采用并行隨機梯度下降算法進行梯度更新訓練。
　　分布式參數(shù)服務器的設計能有效提升深度學習的訓練速度，但面對大規(guī)模神經(jīng)網(wǎng)絡參數(shù)時，工作節(jié)點和參數(shù)服務器節(jié)點進行參數(shù)交換的時間過長，會消耗較多并行訓練的時間，是整個分布式訓練中的瓶頸。

2、現(xiàn)有的解決方式是依靠手動優(yōu)化參數(shù)交換的時間間隔，以降低參數(shù)交換頻率和開銷。手動設置的各工作節(jié)點交換時間間隔固定且相等，來自不同工作節(jié)點的參數(shù)交換請求會在近乎相同的時間點到達參數(shù)服務器節(jié)點而呈現(xiàn)請求突發(fā)現(xiàn)象；而參數(shù)服務器節(jié)點資源有限，不同的參數(shù)交換請求必須通過排隊依次獲得其資源以得到處理，瓶頸依然存在。
　　針對上述問題，設計了一種通過自動設置最佳參數(shù)交換時間間隔來消除分布式深度學習參數(shù)交換瓶頸同時保證訓練準確率的方法和系統(tǒng)；并在內

3、存容量足夠容納整個參數(shù)模型的前提下，對并行隨機梯度下降算法進行了優(yōu)化。其工作機制為：通過監(jiān)控參數(shù)服務器節(jié)點的資源使用情況，動態(tài)為各個工作節(jié)點選取一定范圍內不同的參數(shù)交換時間間隔以避免請求突發(fā)現(xiàn)象，并在達到時間間隔上限時進行強制參數(shù)交換，依此來消除參數(shù)交換瓶頸的同時保證準確率。
　　實驗表明，分布式深度學習中參數(shù)交換優(yōu)化機制能夠在保證深度學習訓練準確率的前提下，使參數(shù)交換速率提升8倍，有效克服了并行訓練中參數(shù)交換瓶頸以及參數(shù)交換請求