面向特定領(lǐng)域的新聞網(wǎng)頁重排序算法研究.pdf

1、隨著互聯(lián)網(wǎng)中網(wǎng)頁數(shù)量的增加、信息的爆炸，如何從海量數(shù)據(jù)中找到對用戶最有價值的信息，成為了互聯(lián)網(wǎng)中一個熱門問題。在這樣的背景下，搜索引擎技術(shù)應(yīng)運而生，成為用戶在互聯(lián)網(wǎng)中搜索信息的重要渠道之一。然而，現(xiàn)有的通用搜索引擎存在主題漂移問題，即與用戶查詢關(guān)鍵詞所屬領(lǐng)域不相符的網(wǎng)頁會排在結(jié)果列表的前列，這顯然會減低用戶的體驗。
　　為了解決通用搜索引擎的主題漂移問題，本文在觀察和分析了大量網(wǎng)頁新聞實例之后發(fā)現(xiàn)，屬于相同領(lǐng)域的新聞網(wǎng)頁往往包含類

2、似的關(guān)鍵詞。基于這個發(fā)現(xiàn)，本文探索了面向特定領(lǐng)域的新聞網(wǎng)頁重排序算法，并展開了以下研究。
　　(1)本文介紹了搜索引擎的相關(guān)背景和技術(shù)，重點包括:網(wǎng)絡(luò)爬蟲、網(wǎng)頁分類和網(wǎng)頁排序等;
　　(2)本文研究了特定領(lǐng)域向量模型的構(gòu)建方法，并且針對特定領(lǐng)域的新聞網(wǎng)頁構(gòu)建了一個分類器，用來對網(wǎng)頁進(jìn)行分類，通過實驗表明，該分類器具有較高的分類精度;
　　(3)本文提出了一種面向特定領(lǐng)域的新聞網(wǎng)頁重排序算法—TSRR算法。TSRR算法設(shè)

3、計了一種獨立于網(wǎng)頁排序的模型，用來表示領(lǐng)域，然后建立網(wǎng)頁信息模型，針對新聞網(wǎng)頁，在用戶檢索過程中結(jié)合領(lǐng)域向量模型和網(wǎng)頁信息模型對網(wǎng)頁搜索結(jié)果進(jìn)行重排序。在爬取的特定領(lǐng)域的數(shù)據(jù)集上，以用戶滿意度和準(zhǔn)確率為標(biāo)準(zhǔn)進(jìn)行評估，實驗結(jié)果表明，本文中提出的TSRR算法性能優(yōu)異，比經(jīng)典的基于Lucene的排序算法在用戶滿意度上平均提高17.3％，在準(zhǔn)確率上平均提高41.9％;
　　(4)本文設(shè)計實現(xiàn)了一個面向特定領(lǐng)域的新聞網(wǎng)頁垂直搜索原型系統(tǒng)，并