基于Hadoop的協(xié)同過濾算法的研究與實現(xiàn).pdf

1、個性化推薦技術(shù)一直是各種商用系統(tǒng)普遍關(guān)注的焦點。其中， Goldberg等人提出的協(xié)同過濾技術(shù)在各類個性化推薦系統(tǒng)中更是受到了普遍的關(guān)注和應(yīng)用。但是，隨著推薦系統(tǒng)中用戶和商品數(shù)目的不斷增加，現(xiàn)有的協(xié)同過濾算法固有的缺點，比如冷啟動問題、數(shù)據(jù)稀疏性問題、系統(tǒng)擴展性問題、結(jié)果準(zhǔn)確性問題等逐漸暴露出來。最近的研究表明，基于用戶和商品數(shù)據(jù)的分布式存儲和分布式計算的協(xié)同過濾算法，能夠更好地適應(yīng)新環(huán)境下的要求，獲得更好的推薦效果。但在現(xiàn)有的分布式協(xié)

2、同過濾算法中，用戶數(shù)據(jù)的分布存儲造成了系統(tǒng)難以定位目標(biāo)用戶的最近鄰居集合，推薦過程中系統(tǒng)通信量大等問題，嚴(yán)重影響了分布式協(xié)同過濾算法的推薦效率和精確度。本文主要針對分布式協(xié)同過濾算法展開了深入的分析和探討，主要研究內(nèi)容如下：
　　本文結(jié)合傳統(tǒng)協(xié)同過濾推薦技術(shù)的發(fā)展歷史和分類應(yīng)用，總結(jié)了現(xiàn)有單機模式和分布式協(xié)同過濾推薦技術(shù)的缺點和不足。然后為了弱化或克服這些缺點，本文結(jié)合Hadoop分布式計算思想，提出了基于Hadoop的分布式協(xié)同

3、過濾推薦算法，并給出了新算法的計算過程。新算法從兩個維度來提高推薦技術(shù)的有效性，即除了對協(xié)同過濾推薦算法本身的改進(jìn)外，在算法實現(xiàn)上還采用一種基于Hadoop的分布式實現(xiàn)協(xié)同過濾推薦算法，即應(yīng)用MapReduce計算模型實現(xiàn)協(xié)同推薦算法的分布式計算，將昂貴的計算過程分割成許多不同的小型計算過程，每一個都可以在不同的節(jié)點上完全并行執(zhí)行。該算法采用高效的分區(qū)策略，以最大限度地提高數(shù)據(jù)局部性，降低通信成本，控制算法的復(fù)雜性來增加計算能力，從而使