面向特定領域的新聞網頁重排序算法研究.pdf

1、隨著互聯網中網頁數量的增加、信息的爆炸，如何從海量數據中找到對用戶最有價值的信息，成為了互聯網中一個熱門問題。在這樣的背景下，搜索引擎技術應運而生，成為用戶在互聯網中搜索信息的重要渠道之一。然而，現有的通用搜索引擎存在主題漂移問題，即與用戶查詢關鍵詞所屬領域不相符的網頁會排在結果列表的前列，這顯然會減低用戶的體驗。
　　為了解決通用搜索引擎的主題漂移問題，本文在觀察和分析了大量網頁新聞實例之后發(fā)現，屬于相同領域的新聞網頁往往包含類

2、似的關鍵詞?；谶@個發(fā)現，本文探索了面向特定領域的新聞網頁重排序算法，并展開了以下研究。
　　(1)本文介紹了搜索引擎的相關背景和技術，重點包括:網絡爬蟲、網頁分類和網頁排序等;
　　(2)本文研究了特定領域向量模型的構建方法，并且針對特定領域的新聞網頁構建了一個分類器，用來對網頁進行分類，通過實驗表明，該分類器具有較高的分類精度;
　　(3)本文提出了一種面向特定領域的新聞網頁重排序算法—TSRR算法。TSRR算法設

3、計了一種獨立于網頁排序的模型，用來表示領域，然后建立網頁信息模型，針對新聞網頁，在用戶檢索過程中結合領域向量模型和網頁信息模型對網頁搜索結果進行重排序。在爬取的特定領域的數據集上，以用戶滿意度和準確率為標準進行評估，實驗結果表明，本文中提出的TSRR算法性能優(yōu)異，比經典的基于Lucene的排序算法在用戶滿意度上平均提高17.3％，在準確率上平均提高41.9％;
　　(4)本文設計實現了一個面向特定領域的新聞網頁垂直搜索原型系統(tǒng)，并