基于參數(shù)服務(wù)器的分布式機器學(xué)習(xí)研究.pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費或?qū)嶒炇业馁Y助，在()實驗室完成。(請在以上括號內(nèi)填寫課題或課題組負責(zé)人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：夸彥7。∥

2、年歹月『7日摘要隨著計算機技術(shù)的發(fā)展及互聯(lián)網(wǎng)的廣泛應(yīng)用，各行各業(yè)積累了大量的應(yīng)用數(shù)據(jù)。如何對這樣海量的數(shù)據(jù)進行高效而精準(zhǔn)的學(xué)習(xí)成為亟待解決的難題，引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。面對這樣的難題，前人提出了一系列分布式機器學(xué)習(xí)相關(guān)的理論及方法，但是這些方法主要是從單一的系統(tǒng)或者算法角度來提供問題的解決方案，難以在實際應(yīng)用中達到令人滿意的效果。本文結(jié)合前人的工作，從系統(tǒng)和算法兩方面進行了研究和探索，為分布式機器學(xué)習(xí)提供了新的參數(shù)服務(wù)器架構(gòu)及

3、優(yōu)化算法，并將其應(yīng)用到了實際的機器學(xué)習(xí)算法中，在保證精度的情況下，有效的提高了算法的效率。本文主要工作包括：針對分布式機器學(xué)習(xí)欠缺靈活的分布式平臺的問題，本文設(shè)計實現(xiàn)了參數(shù)服務(wù)器架構(gòu)，并對其通信和容錯兩方面進行了優(yōu)化。在通信方面主要進行的優(yōu)化，包括鍵值向量存儲、有界push和pull操作，消息壓縮等。在容錯方面，主要采用一致性哈希及副本冗余等措施來進行優(yōu)化。在實驗中，充分驗證了本文系統(tǒng)的靈活性和高效性，及相應(yīng)優(yōu)化措施的有效性。針對分布式

4、優(yōu)化算法所面臨的通信方面的挑戰(zhàn)，本文基于參數(shù)服務(wù)器的分布式環(huán)境，提出了有界異步拒絕算法。有界異步拒絕算法，主要包括三個部分：有界拒絕、數(shù)據(jù)服務(wù)器和自適應(yīng)的學(xué)習(xí)率調(diào)節(jié)。在實驗中，充分驗證了本文提出方法的高效性和魯棒性，同時也驗證了以上優(yōu)化措施的有效性。針對稀疏邏輯回歸算法和梯度提升回歸樹算法的并行化，本文基于參數(shù)服務(wù)器的分布式環(huán)境，提出了其相應(yīng)的并行化方法。對于稀疏邏輯回歸算法，采用了近鄰梯度的解法，并對其進行并行化。而對于梯度提升回歸樹