云平臺(tái)下推薦系統(tǒng)的研究與改進(jìn).pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，每個(gè)人的生活都在發(fā)生巨大的變化，世界正在不斷地變“平”。隨著電子商務(wù)，人工智能，虛擬現(xiàn)實(shí)等技術(shù)的蓬勃發(fā)展，人們只要通過(guò)互聯(lián)網(wǎng)，幾乎可以足不出戶，坐在計(jì)算機(jī)前做一切事情。這在短短二三十年間從不可能變成了可能。智能推薦技術(shù)自上個(gè)世紀(jì)90年代誕生以來(lái)，一直在互聯(lián)網(wǎng)眾多領(lǐng)域發(fā)揮著重要作用。例如淘寶網(wǎng)的電子商務(wù)系統(tǒng)、優(yōu)酷土豆等視頻網(wǎng)站的視頻推薦系統(tǒng)、豆瓣音樂(lè)等音樂(lè)網(wǎng)站的音樂(lè)推薦系統(tǒng)等等。由于更加貼近人們的生活，相信推薦系統(tǒng)

2、會(huì)變得和搜索引擎一樣，成為互聯(lián)網(wǎng)中不可或缺的基礎(chǔ)性應(yīng)用。然而在推薦系統(tǒng)中，大多數(shù)使用的算法都會(huì)面臨兩方面問(wèn)題，一個(gè)是用戶物品評(píng)分?jǐn)?shù)據(jù)的稀疏性問(wèn)題，另一個(gè)是算法的可擴(kuò)展性問(wèn)題。
　　隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和信息爆炸，云計(jì)算技術(shù)應(yīng)運(yùn)而生。傳統(tǒng)的串行處理效率低下，其產(chǎn)生的時(shí)間開(kāi)銷甚至讓人無(wú)法忍受。因此，如何對(duì)海量數(shù)據(jù)進(jìn)行高效處理成為一個(gè)急需解決的問(wèn)題。Google公司于2004年提出的MapReduce編程模型是一個(gè)具有易于編程，良好

3、擴(kuò)展性和高容錯(cuò)性等優(yōu)點(diǎn)的并行編程模型。Apache基金會(huì)所領(lǐng)導(dǎo)開(kāi)發(fā)的Hadoop項(xiàng)目是基于MapReduce計(jì)算模型的一個(gè)開(kāi)源實(shí)現(xiàn)，可用于編寫和運(yùn)行分布式應(yīng)用處理大規(guī)模數(shù)據(jù)，其已被雅虎、Facebook、百度、淘寶等眾多知名互聯(lián)網(wǎng)公司研究并使用。
　　為了提高推薦的質(zhì)量，以及解決在大規(guī)模數(shù)據(jù)上的推薦問(wèn)題，本文提出了基于用戶興趣度的方法以緩解數(shù)據(jù)稀疏性的問(wèn)題，在我們的算法中融合了表現(xiàn)用戶興趣變化的時(shí)間因素，通過(guò)對(duì)目標(biāo)用戶特定的未評(píng)分

4、項(xiàng)進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)值填充進(jìn)原始數(shù)據(jù)以形成新的數(shù)據(jù)集，以此來(lái)緩解數(shù)據(jù)稀疏性。算法可迭代多次以更好的達(dá)到對(duì)缺失數(shù)據(jù)的填充目的;另外，針對(duì)推薦系統(tǒng)領(lǐng)域經(jīng)典的Netflix數(shù)據(jù)集問(wèn)題，提出了基于統(tǒng)計(jì)和分類的改進(jìn)預(yù)測(cè)方法，為了更好的解決該數(shù)據(jù)集數(shù)據(jù)量大的特點(diǎn)，算法在Hadoop平臺(tái)上實(shí)現(xiàn)，該方法充分考慮用戶和電影兩方面的信息，并通過(guò)實(shí)驗(yàn)證明該方法取得更好的預(yù)測(cè)精度，同時(shí)在Hadoop集群中機(jī)器增多時(shí)，算法的運(yùn)行效率不斷提升，說(shuō)明其具有比較理想的