基于AWS GPU集群的協(xié)同過濾算法的研究及應用.pdf

1、移動互聯網的高速發(fā)展，加劇了互聯網的信息過載，用戶很難從海量的數據中獲取自己感興趣的內容，個性化推薦系統(tǒng)可以緩解大數據給用戶帶來的選擇壓力。協(xié)同過濾算法是個性化推薦領域應用最廣泛的算法，然而該算法在處理大數據規(guī)模的推薦問題時，計算耗時大，推薦效率低下，且算法的可擴展性差，不能滿足現實生產的需要。當前人們主要利用分布式集群的并行計算來提高算法的執(zhí)行效率，集群計算需要搭建本地的數據中心或者租賃集群服務，集群管理和擴展的成本高。在并行計算領域

2、，GPU由于其高并行、高內存寬帶和成本低等特點引起業(yè)界的關注。然而單GPU的計算能力有限，在本地搭建GPU集群同樣有著可擴展性和集群管理等問題。亞馬遜的云計算平臺提供了云環(huán)境下的GPU集群，與本地GPU環(huán)境相比，云GPU集群擁有更高的計算能力，且成本低可擴展性好。因此，本文提出一種基于AWS GPU集群的協(xié)同過濾算法，實驗證明，AWS GPU集群的計算能顯著提高算法的執(zhí)行效率，與CPU上串行執(zhí)行相比，本文的算法最高可以獲得390倍的加速

3、比。然后本文介紹了在AWS做應用系統(tǒng)的設計的思路，利用本文提出的算法實現了一個閱讀類的內容聚合平臺，為企業(yè)搭建基于云的個性化推薦系統(tǒng)提供了一種可行的方案。
　　本文的主要工作有:
　　(1)針對大數據規(guī)模下協(xié)同過濾算法的可擴展性差的問題，本文設計了一種基于AWS GPU集群的協(xié)同過濾推薦算法的實現方法。本文在設計并行算法的過程中解決了一系列問題包括:AWS上GPU集群中各節(jié)點的任務劃分問題;各節(jié)點計算數據動態(tài)傳輸問題;推薦算

4、法具體過程的GPU并行問題。本文實現在不影響算法精度的前提下提高算法的性能，降低了推薦系統(tǒng)的成本，為普通用戶研究并行協(xié)同過濾推薦系統(tǒng)提供了一種可行的方法，同時為中小型企業(yè)搭建基于云計算平臺的推薦系統(tǒng)提供了參考。
　　(2)將本文提出的基于AWS GPU集群的并行協(xié)同過濾推薦算法應用內容聚合類應用的個性化推薦系統(tǒng)中。本文通過收集用戶對應用的歷史操作信息挖掘出隱式的用戶-物品評分表，然后將本文提出的算法作為應用個性化推薦系統(tǒng)的核心。最