基于Hadoop的推薦系統(tǒng)研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的日益發(fā)展，手機、平板電腦等智能終端的出現(xiàn)，人們在工作和生活中越來越依賴網(wǎng)絡(luò)，同時也產(chǎn)生大量的數(shù)據(jù)文件，對于如此海量的數(shù)據(jù)，加之用戶有時不能清晰的表達查詢意圖，使得用戶很難快速、準(zhǔn)確的找出所需要的信息，為此學(xué)者們進行了許多相關(guān)的研究，其中有效的技術(shù)方案主要包括搜索引擎中的查詢推薦算法和基于偏好的推薦系統(tǒng)。查詢推薦算法通過構(gòu)造一組與原查詢詞相關(guān)的查詢詞幫助用戶明確查詢意圖。推薦系統(tǒng)以用戶行為、偏好作為依據(jù)，主動為用戶推薦符合其偏

2、好的信息。
　　由于用戶數(shù)量、數(shù)據(jù)規(guī)模的快速增長，而傳統(tǒng)推薦算法以單機運行為主，計算復(fù)雜度普遍較高，計算難度大，已經(jīng)不能滿足海量數(shù)據(jù)推薦計算的需求，產(chǎn)生了推薦時間緩慢、準(zhǔn)確率下降等一系列問題。為了更好的解決推薦算法的可擴展性、準(zhǔn)確性問題，本文在深入研究HDFS分布式系統(tǒng)和MapReduce編程思想的基礎(chǔ)上，針對近年來提出的網(wǎng)絡(luò)推薦算法，分別提出了查詢推薦算法和基于偏好的協(xié)同過濾推薦算法在 MapReduce編程模型下的分布式并行化

3、算法，并設(shè)計和實現(xiàn)了一個基于Hadoop的電影推薦原型系統(tǒng)。主要工作內(nèi)容如下：
　　首先，介紹了推薦算法和云計算方面國內(nèi)外的研究現(xiàn)狀，然后重點闡述了推薦系統(tǒng)及主流協(xié)同過濾算法，具體分析了Hadoop相關(guān)技術(shù)，為基于Hadoop的并行化算法提供了理論依據(jù)。
　　然后，針對搜索引擎中的查詢推薦算法，提出了基于Hadoop的最小生成樹聚類算法來實現(xiàn)查詢推薦，通過一系列測試和結(jié)果分析驗證了算法在集群上具有良好的并行性和擴展性。在基于