技術(shù)文章個(gè)性化推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、高速發(fā)展和快速普及的互聯(lián)網(wǎng)已成為信息傳播和資訊獲取的主要途徑之一。網(wǎng)絡(luò)上的數(shù)據(jù)伴隨著大數(shù)據(jù)時(shí)代的到來而迅速膨脹，用戶面對(duì)互聯(lián)網(wǎng)上的海量信息需要花費(fèi)更大的成本去獲取有價(jià)值信息。個(gè)性化推薦技術(shù)就是用來解決信息過載問題的。
　　近來，隨著門戶網(wǎng)站和各領(lǐng)域資訊類網(wǎng)站的不斷涌現(xiàn)，網(wǎng)絡(luò)閱讀逐漸成為互聯(lián)網(wǎng)最熱門的需求之一，也同樣需要使用個(gè)性化推薦技術(shù)，由此催生了個(gè)性化閱讀應(yīng)用市場(chǎng)。
　　大多數(shù)基于內(nèi)容的推薦系統(tǒng)使用相對(duì)簡(jiǎn)單的向量空間模型，

2、但這種方案不能解決“一詞多義”、“多詞一義”的問題。為解決向量空間模型的不足，本文將主題模型應(yīng)用到個(gè)性化閱讀推薦和文本分類中，設(shè)計(jì)并實(shí)現(xiàn)了面向開發(fā)者的技術(shù)文章個(gè)性化推薦系統(tǒng)，解決了開發(fā)者的個(gè)性化閱讀需求，具有很好的應(yīng)用前景和商業(yè)價(jià)值。
　　本文的主要工作有:
　　1.面向技術(shù)文章的網(wǎng)頁爬蟲和數(shù)據(jù)預(yù)處理
　　為了獲取推薦對(duì)象，先使用WebMagic爬蟲框架實(shí)現(xiàn)一個(gè)單機(jī)多線程的爬蟲，將技術(shù)網(wǎng)站上的文章下載到文件服務(wù)器和數(shù)據(jù)

3、庫中，然后使用HTML解析器、XPath、CSS選擇器等技術(shù)對(duì)網(wǎng)頁的正文部分進(jìn)行抽取，并清洗掉正文里的無關(guān)項(xiàng)元素，最后使用FNLP自然語言處理工具包對(duì)正文部分進(jìn)行文本處理，包括分詞、詞性標(biāo)注和去停用詞等。
　　2.基于用戶興趣的個(gè)性化推薦和基于文章主題的相似推薦
　　本文實(shí)現(xiàn)基于用戶興趣的個(gè)性化推薦，用于向用戶推薦其可能感興趣的技術(shù)文章。(1)尋找最優(yōu)主題數(shù);(2)對(duì)預(yù)處理后的技術(shù)文章建立LDA模型，使用主題對(duì)技術(shù)文章進(jìn)行特

4、征表示;(3)根據(jù)用戶的歷史行為數(shù)據(jù)，使用邏輯斯蒂回歸為每個(gè)用戶構(gòu)建用戶興趣模型;(4)使用訓(xùn)練好的LDA模型推斷新的技術(shù)文章的主題分布;(5)使用技術(shù)文章的主題分布和用戶興趣模型進(jìn)行個(gè)性化計(jì)算，生成用戶的個(gè)性化推薦列表。通過與基于向量空間模型和TF-IDF相結(jié)合的推薦方法做對(duì)比實(shí)驗(yàn)，驗(yàn)證基于LDA模型的推薦方法具有更好的推薦效果。
　　本文實(shí)現(xiàn)基于文章主題的相似推薦，用于向用戶推薦在主題層面上相似的技術(shù)文章。通過使用Hellin

5、ger距離作為相似性度量，取Top-3的技術(shù)文章作為目標(biāo)文章的相似文章。
　　3.按技術(shù)文章的類別瀏覽
　　為了在系統(tǒng)中實(shí)現(xiàn)按照類別來瀏覽文章功能，本文需要預(yù)測(cè)文章的技術(shù)類別。(1)將LDA模型中的所有主題下的Top-N個(gè)詞項(xiàng)取出，合并成一個(gè)特征詞典;(2)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行文本預(yù)處理，然后統(tǒng)計(jì)所有詞項(xiàng)的信息，并計(jì)算所有詞項(xiàng)的TF-IDF值;(3)檢查每個(gè)文檔的所有詞項(xiàng)，將包含在特征詞典中的詞項(xiàng)作為特征項(xiàng)，使用TF-IDF值作為

6、特征項(xiàng)的特征權(quán)重，將文檔映射為一個(gè)特征向量，對(duì)所有特征向量進(jìn)行歸一化處理后，得到一個(gè)訓(xùn)練集;(3)使用LIBSVM提供的腳本尋找最優(yōu)的參數(shù)，然后訓(xùn)練支持向量機(jī)分類器;(4)使用支持向量機(jī)分類器對(duì)未知類別的技術(shù)文章進(jìn)行類別預(yù)測(cè)。
　　通過與其他三種常用的特征選擇方法做對(duì)比實(shí)驗(yàn)，驗(yàn)證本文的文本分類方案具有更好的分類效果。
　　4.Web交互系統(tǒng)
　　設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)與用戶進(jìn)行交互的Web網(wǎng)站原型，用戶通過該網(wǎng)站可以瀏覽推薦