基于參數(shù)服務(wù)器的分布式機(jī)器學(xué)習(xí)研究.pdf

1、廈門(mén)大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫(xiě)作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門(mén)大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫(xiě)課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱(chēng)，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：夸彥7?！?/p>

2、年歹月『7日摘要隨著計(jì)算機(jī)技術(shù)的發(fā)展及互聯(lián)網(wǎng)的廣泛應(yīng)用，各行各業(yè)積累了大量的應(yīng)用數(shù)據(jù)。如何對(duì)這樣海量的數(shù)據(jù)進(jìn)行高效而精準(zhǔn)的學(xué)習(xí)成為亟待解決的難題，引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。面對(duì)這樣的難題，前人提出了一系列分布式機(jī)器學(xué)習(xí)相關(guān)的理論及方法，但是這些方法主要是從單一的系統(tǒng)或者算法角度來(lái)提供問(wèn)題的解決方案，難以在實(shí)際應(yīng)用中達(dá)到令人滿意的效果。本文結(jié)合前人的工作，從系統(tǒng)和算法兩方面進(jìn)行了研究和探索，為分布式機(jī)器學(xué)習(xí)提供了新的參數(shù)服務(wù)器架構(gòu)及

3、優(yōu)化算法，并將其應(yīng)用到了實(shí)際的機(jī)器學(xué)習(xí)算法中，在保證精度的情況下，有效的提高了算法的效率。本文主要工作包括：針對(duì)分布式機(jī)器學(xué)習(xí)欠缺靈活的分布式平臺(tái)的問(wèn)題，本文設(shè)計(jì)實(shí)現(xiàn)了參數(shù)服務(wù)器架構(gòu)，并對(duì)其通信和容錯(cuò)兩方面進(jìn)行了優(yōu)化。在通信方面主要進(jìn)行的優(yōu)化，包括鍵值向量存儲(chǔ)、有界push和pull操作，消息壓縮等。在容錯(cuò)方面，主要采用一致性哈希及副本冗余等措施來(lái)進(jìn)行優(yōu)化。在實(shí)驗(yàn)中，充分驗(yàn)證了本文系統(tǒng)的靈活性和高效性，及相應(yīng)優(yōu)化措施的有效性。針對(duì)分布式

4、優(yōu)化算法所面臨的通信方面的挑戰(zhàn)，本文基于參數(shù)服務(wù)器的分布式環(huán)境，提出了有界異步拒絕算法。有界異步拒絕算法，主要包括三個(gè)部分：有界拒絕、數(shù)據(jù)服務(wù)器和自適應(yīng)的學(xué)習(xí)率調(diào)節(jié)。在實(shí)驗(yàn)中，充分驗(yàn)證了本文提出方法的高效性和魯棒性，同時(shí)也驗(yàn)證了以上優(yōu)化措施的有效性。針對(duì)稀疏邏輯回歸算法和梯度提升回歸樹(shù)算法的并行化，本文基于參數(shù)服務(wù)器的分布式環(huán)境，提出了其相應(yīng)的并行化方法。對(duì)于稀疏邏輯回歸算法，采用了近鄰梯度的解法，并對(duì)其進(jìn)行并行化。而對(duì)于梯度提升回歸樹(shù)