基于MySQL新聞搜索引擎的設(shè)計與實現(xiàn).pdf

1、隨著現(xiàn)代信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)絡(luò)上的信息量和類型正在發(fā)生爆炸性的增長。這為人們的日常生活、工作以及學習帶來了極大的便利。但是在信息量爆增的同時也帶來了新的問題。比如如何對這些海量的信息進行統(tǒng)一的管理，如何將這些分散的資源建立索引，以及如何從海量的信息資源中準確地獲取需要的信息等等。搜索引擎是解決這些問題的關(guān)鍵技術(shù)，但是傳統(tǒng)的通用搜索引擎是對Web上的所有種類的信息都進行搜集，并面向所有不同層次的用戶，這種想做的面面俱到的努力在海量信

2、息面前變得越來越?jīng)]有突破性進展。
　　普通的用戶對信息的關(guān)注程度和寬度是比較集中的。所以面向特定領(lǐng)域和特定需求的專業(yè)搜索引擎的概念應用而生。與傳統(tǒng)的通用搜索引擎所不同的地方是專業(yè)搜索引擎只會收集與某個主題相關(guān)的Web上的信息，在收集信息時并不是來者便收，而是通過分析判斷信息內(nèi)容是否與特定主題相關(guān)，并只對相關(guān)的信息進行進一步處理。因此，專業(yè)搜索引擎無論在資源消耗，還是在查詢準確度上都有了顯著的提高。
　　本文的主要研究工作就是

3、面向?qū)I(yè)搜索引擎，且以新聞為搜索主題。在研究過程中，通過對搜索引擎中關(guān)鍵技術(shù)進行深入的理論的學習和實踐，進一步加深對搜索引擎領(lǐng)域的了解。在本文中的新聞專業(yè)搜索引擎中，選擇新浪新聞網(wǎng)站作為網(wǎng)絡(luò)爬蟲的入口地址，對其進行有針對性地收集新聞頁面。收集頁面的工作由專業(yè)的新聞網(wǎng)絡(luò)爬蟲完成，它從新聞首頁開始，提取出其中的新聞鏈接地址，并將這些鏈接地址存入到待爬取的隊列之中，通過三層的深度優(yōu)先搜索算法對Web網(wǎng)站進行遍歷。之后，爬蟲還將對收集后的頁面進

4、行凈化處理和提取有效信息，最后由索引器建立搜索引擎中非常核心的數(shù)據(jù):倒排索引。搜索引擎最終是要面向普通用戶的，所以，設(shè)計好一個用戶體驗度好的查詢接口為用戶提供新聞查詢服務(wù)也是非常必須的任務(wù)。本文中詳細介紹了網(wǎng)絡(luò)爬蟲是設(shè)計和實現(xiàn)，網(wǎng)頁的凈化和信息抽取以及索引庫的構(gòu)建。這些技術(shù)都是目前自然語言處理和人工智能方面的研究熱點，通過對這些技術(shù)和理論的學習，加深對專業(yè)的技能。
　　本面向新聞內(nèi)容的搜索引擎從最簡單的技術(shù)著手，逐步實現(xiàn)了搜索引擎