在線文檔推薦算法的研究與改進(jìn).pdf

1、隨著我國網(wǎng)民規(guī)模接近7億，互網(wǎng)聯(lián)頁面數(shù)突破2000億，信息爆炸般增長，從中獲取有效信息也變得愈加困難。因此也有了許多個性化解決方案來對互聯(lián)網(wǎng)信息進(jìn)行篩選提供給人們符合所需的信息。搜索引擎和推薦系統(tǒng)便是兩種獲取信息的有效手段，前者是用戶主動查詢搜索所需內(nèi)容，但常受限于查詢格式或者內(nèi)容完整性，并不容易找到所需內(nèi)容，尤其是難以查詢視頻音頻等，且智能程度較低。而另一種方式，推薦系統(tǒng)便可以發(fā)揮優(yōu)勢，通過分析海量數(shù)據(jù)信息，分析歷史行為信息和用戶之間

2、的關(guān)系等，對用戶進(jìn)行推薦，免去用戶搜索的麻煩。
　　數(shù)據(jù)是推薦系統(tǒng)的基礎(chǔ)。從數(shù)據(jù)中進(jìn)行分析才能得到有價(jià)值的信息，尋找到其中隱藏的關(guān)系。但數(shù)據(jù)需要保證質(zhì)量，由此引出數(shù)據(jù)的清洗環(huán)節(jié)。數(shù)據(jù)清洗指將原有數(shù)據(jù)如日志文件等按規(guī)則進(jìn)行預(yù)處理，使數(shù)據(jù)達(dá)到完整性一致性準(zhǔn)確性等要求。數(shù)據(jù)清洗保障了推薦算法的準(zhǔn)確性。
　　推薦算法是推薦系統(tǒng)的核心。傳統(tǒng)推薦算法在推薦系統(tǒng)中依舊發(fā)揮著砥柱的作用，但是對于特定數(shù)據(jù)特定系統(tǒng)，其效果并不總是理想。針對特定

3、數(shù)據(jù)進(jìn)行分析，在原算法基礎(chǔ)上進(jìn)行創(chuàng)新，通過實(shí)驗(yàn)數(shù)據(jù)分析，優(yōu)化改進(jìn)，往往能獲得更好的效果。
　　綜上所述，本文針對華為在線文檔推薦系統(tǒng)的工作主要如下：
　　1.首先采集數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行分析。然后制定數(shù)據(jù)清洗規(guī)則，按照清洗流程兌出去進(jìn)行了預(yù)處理。每天新數(shù)據(jù)到來時定時啟動清洗程序，實(shí)現(xiàn)清洗自動化。
　　2.分析已有的推薦算法并做出改進(jìn)。本文采用了協(xié)同過濾算法并在此基礎(chǔ)上改進(jìn)算法，針對實(shí)驗(yàn)結(jié)果進(jìn)行分析，用轉(zhuǎn)移概率矩陣對原相似

4、度矩陣進(jìn)行替代，并分析歷史瀏覽信息中的文檔類別間的跳轉(zhuǎn)關(guān)系，在推薦過程中根據(jù)文檔類別間跳轉(zhuǎn)比例產(chǎn)生推薦列表。最后結(jié)合熱點(diǎn)推薦，彌補(bǔ)冷啟動的缺點(diǎn)。改進(jìn)后的算法的各項(xiàng)評價(jià)指標(biāo)提升明顯。
　　3.將數(shù)據(jù)處理和推薦系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)華為在線文檔推薦系統(tǒng)，并以網(wǎng)站形式進(jìn)行展示。網(wǎng)站采用 Struts2+Mysql+redis形式，框架為 Struts2，其優(yōu)點(diǎn)為層次清晰，維護(hù)效率高。數(shù)據(jù)庫采用了關(guān)系型數(shù)據(jù)庫Mysql和內(nèi)存數(shù)據(jù)庫redis，