基于CPU-GPU協(xié)作環(huán)境的快速大規(guī)模SVM訓(xùn)練.pdf

1、近年來(lái)，隨著圖形處理器(Graphic Processor Unit，GPU)的計(jì)算能力的增強(qiáng)，其主要用途由圖形渲染過(guò)渡到通用計(jì)算方面，GPU的定位也逐漸演變?yōu)榫哂斜姾思軜?gòu)的通用處理器。在現(xiàn)今以主核心輔以協(xié)處理器模式的CPU-GPU異構(gòu)并行系統(tǒng)中，兼顧了CPU與GPU在通用計(jì)算方面不同的優(yōu)勢(shì)，提供了一種優(yōu)秀的程序設(shè)計(jì)思路與系統(tǒng)組成方法?；贑PU-GPU異構(gòu)協(xié)同環(huán)境的集群作為一種有效的提供并行計(jì)算資源的途徑，已經(jīng)得到了科學(xué)及工程中計(jì)算模

2、擬、海量數(shù)據(jù)處理等研究領(lǐng)域的廣泛應(yīng)用。
　　支持向量機(jī)(Support Vector Machine，SVM)是一種廣泛應(yīng)用于統(tǒng)計(jì)分類以及回歸分析的監(jiān)督學(xué)習(xí)方法，是當(dāng)今使用機(jī)器學(xué)習(xí)解決分類問(wèn)題的重要途徑。支持向量機(jī)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，具有全局優(yōu)化、泛化能力強(qiáng)等優(yōu)點(diǎn)，已成功應(yīng)用于人臉識(shí)別、文本分類、生物信息學(xué)等研究領(lǐng)域。SVM的訓(xùn)練實(shí)質(zhì)上是一個(gè)帶有約束條件的凸二次優(yōu)化問(wèn)題，可以利用原-對(duì)偶內(nèi)點(diǎn)法(Primal-DualInter

3、nal Point Method，PD-IPM)對(duì)其進(jìn)行求解?；趦?nèi)點(diǎn)法的支持向量機(jī)在解決小樣本、高維數(shù)據(jù)的模式識(shí)別領(lǐng)域具有特有的優(yōu)勢(shì)，但是，面對(duì)如今龐大的海量數(shù)據(jù)，占用內(nèi)存大，訓(xùn)練時(shí)間過(guò)長(zhǎng)的缺點(diǎn)日趨明顯，還有待完善與拓展。
　　針對(duì)大規(guī)模SVM訓(xùn)練存在的內(nèi)存需求大，運(yùn)行時(shí)間過(guò)長(zhǎng)的問(wèn)題，本文提出一種基于CPU-GPU異構(gòu)協(xié)同環(huán)境下的快速大規(guī)模SVM訓(xùn)練方法(CGC-SVM)。首先，利用GPU對(duì)于計(jì)算密集型問(wèn)題高性能的處理特性，通過(guò)

4、使用CUDA語(yǔ)言和NVIDIA提供的CUBLAS庫(kù)，對(duì)IPM算法中計(jì)算密集部分進(jìn)行了算法優(yōu)化。其次，針對(duì)GPU提供數(shù)據(jù)存儲(chǔ)空間不足的問(wèn)題，提出使用主機(jī)端頁(yè)鎖定內(nèi)存進(jìn)行數(shù)據(jù)存儲(chǔ)并使GPU線程直接訪問(wèn)的方式，擴(kuò)大了GPU可訪問(wèn)存儲(chǔ)容量，使CPU/GPU兩端共享數(shù)據(jù)存儲(chǔ)空間成為可能。再次，為了解決使用頁(yè)鎖定內(nèi)存技術(shù)帶來(lái)的帶寬與計(jì)算性能的損失，提出了基于分塊流水機(jī)制的CPU-GPU協(xié)同SYRK實(shí)現(xiàn)。最后，利用MPI+Multi-threads+

5、CUDA(MMC)編程模型將實(shí)現(xiàn)擴(kuò)展至集群，進(jìn)一步降低了針對(duì)于大規(guī)模數(shù)據(jù)集的SVM訓(xùn)練的單一節(jié)點(diǎn)的內(nèi)存需求。在千兆網(wǎng)連接的四節(jié)點(diǎn)GPU集群系統(tǒng)環(huán)境下，利用不同規(guī)模的數(shù)據(jù)集adult、ijcnn1、covtypes、rcv1、epsilon、url進(jìn)行實(shí)驗(yàn)。結(jié)果表明，CGC-SVM在滿足精度要求的同時(shí)，能夠在較大規(guī)模的的數(shù)據(jù)集上獲得最高10倍于單純利用CPU進(jìn)行SVM訓(xùn)練的性能，在存儲(chǔ)、計(jì)算及可擴(kuò)展性上均展現(xiàn)了出色的性能。此外，本文所提出