基于大數(shù)據(jù)的勘探生產(chǎn)門戶信息推薦系統(tǒng)研究.pdf

1、隨著中國石油勘探生產(chǎn)門戶網(wǎng)站信息發(fā)布量的快速增長，利用傳統(tǒng)的信息搜索技術(shù)，將會(huì)出現(xiàn)搜索結(jié)果信息量超載的問題，用戶很難從中快速找到有價(jià)值的信息，研究基于大數(shù)據(jù)的信息推薦系統(tǒng)可以很好地解決這個(gè)問題。
　　本論文根據(jù)勘探生產(chǎn)門戶信息的特點(diǎn)，提出了一種基于大數(shù)據(jù)分析技術(shù)的門戶信息推薦算法。該算法首先通過對(duì)門戶信息的網(wǎng)絡(luò)爬蟲分析和分詞處理，利用 TF-IDF模型計(jì)算得到門戶網(wǎng)站每個(gè)頁面的特征詞，并對(duì)特征詞進(jìn)行聚類分析篩選出聚類標(biāo)簽詞；第二步

2、將用戶的瀏覽行為日志經(jīng)過三次MapReduce作業(yè)分析得出用戶特征詞；第三步將用戶特征詞與門戶網(wǎng)頁標(biāo)簽詞進(jìn)行匹配處理得到相應(yīng)的推薦結(jié)果。與此同時(shí)，推薦引擎利用基于項(xiàng)目的協(xié)同過濾推薦算法產(chǎn)生另外一組推薦結(jié)果；最后將兩組推薦結(jié)果列表排序過濾并按一定的比例混合輸出作為最終的推薦結(jié)果。
　　本論文研究的推薦系統(tǒng)使用 Hadoop等相關(guān)技術(shù)實(shí)現(xiàn)了門戶網(wǎng)站中大數(shù)據(jù)的存儲(chǔ)與處理，利用Mahout推薦引擎實(shí)現(xiàn)門戶信息的推薦，在.NET平臺(tái)上用C＃