個性化時政信息搜索引擎的研究與實現(xiàn).pdf

1、當前社會計算機技術快速發(fā)展，網(wǎng)絡中各種數(shù)據(jù)爆增，大數(shù)據(jù)的時代已經(jīng)來了。面對這個問題，GOOGLE、百度等搜索引擎誕生了，而且很快成長為全球頂尖的互聯(lián)網(wǎng)公司，這正是因為它們滿足了大部分互聯(lián)網(wǎng)用戶的需要，順應了時代的發(fā)展。但在當下，數(shù)據(jù)量正呈幾何倍數(shù)增長，并且用戶對數(shù)據(jù)的獲取要求在不斷提高，他們要求搜索引擎能在更短的時間內(nèi)提供給更準確的符合自己預期需要的結果，因此普通的搜索引擎已經(jīng)遠遠不能滿足這些要求，這時就需要我們設計一種改進型的搜索引擎

2、，來適應用戶精確化、快速化、時鮮化的需要。當前針對用戶這種需求的技術有很多種，如垂直搜索技術、個性化技術等。垂直搜索技術可以幫用戶在自己所處的專業(yè)領域進行信息的深度挖掘，并且效率比一般的搜索更高，結果也更準確。個性化技術是指對每一個用戶制定一個符合他需求的檢索方案，通過這種“私人訂制”可以大大提高用戶對檢索結果的滿意程度。所以加入了個性化技術、垂直搜索技術的搜索引擎正是符合當下時代需求的搜索引擎，因此很有必要進行研究。最重要的是現(xiàn)在黨政

3、部門正在大力推進電子政務內(nèi)網(wǎng)建設，而本文對個性化時政信息搜索的研究將對未來電子政務內(nèi)網(wǎng)的應用發(fā)揮具大的作用。
　　本文首先分析了目前各國搜索引擎技術發(fā)展的現(xiàn)狀，介紹了當下大數(shù)據(jù)時代用戶對搜索引擎提出的新的要求，并對通用搜索引擎的關鍵組成部分如網(wǎng)絡爬蟲、網(wǎng)頁排序、索引機制等功能及其原理進行了詳細的描述。然后通過對垂直搜索引擎的概念、基本原理、組成結構等的學習，并研究其網(wǎng)絡爬蟲、關鍵詞檢索、索引等重要模塊，最后建立了一個用戶興趣模型，

4、將這些全都應用于普通搜索引擎當中，設計出了一個滿足用戶垂直搜索需求、個性化需求的搜索引擎，并以PPISE實例來實現(xiàn)。網(wǎng)絡爬蟲模塊的主要作用是爬取網(wǎng)站中的數(shù)據(jù)，并對這些數(shù)據(jù)進行主題相關度URL篩選；檢索模塊主要是將文本分類技術和用戶興趣模型結合在一起，以提高檢索結果與用戶需求之間的相關性；索引模塊主要是在構建索引時根據(jù)用戶的興趣等對不同類的文本進行分類，它用到了文本分類技術，并確保了索引效率。
　　本文主要有三個方面的研究設計，并在

5、一定程度上進行了改進創(chuàng)新：一是設計了一種引入了URL相關性過慮機制專業(yè)爬蟲，通過這個設計使當前搜索引擎沒有過濾掉不相關噪聲網(wǎng)頁的缺陷得到一定程度的改善，同時這種爬蟲通過網(wǎng)頁相關性規(guī)則過濾掉了許多不相關的網(wǎng)頁，減少了爬蟲對它們不必要的爬取，使信息的采集效率得到一定的提升。二是設計了一種文本分類方法，其加入了經(jīng)過改進的特征選擇函數(shù)、文本分類技術。它使個性化時政信息搜索引擎對文本的分類更細化，類別判斷更準確，也更符合用戶的個性化需求。三是設計