垂直搜索引擎技術(shù)的研究和應(yīng)用.pdf

1、互聯(lián)網(wǎng)的信息量呈爆炸趨勢(shì)增長(zhǎng)，增強(qiáng)了人們對(duì)搜索技術(shù)的依賴(lài)性。搜索引擎是開(kāi)啟網(wǎng)絡(luò)知識(shí)殿堂的鑰匙，獲取知識(shí)信息的工具。但隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，獲取更加準(zhǔn)確、更加詳細(xì)、更加深層的專(zhuān)業(yè)信息，成為對(duì)搜索引擎提出的新要求。因此，面向主題的垂直搜索引擎系統(tǒng)應(yīng)運(yùn)而生。 本文主要的研究工作分為兩個(gè)部分：第一部分通過(guò)理論研究分析，揭示垂直搜索引擎的現(xiàn)實(shí)意義；第二部分通過(guò)對(duì)垂直搜索擎的核心技術(shù)進(jìn)行剖析，結(jié)合對(duì)奧運(yùn)信息的需求，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)垂直搜索引

2、擎的原型系統(tǒng)。主要內(nèi)容為： (1)詳細(xì)介紹了垂直搜索引擎技術(shù)的研究意義，國(guó)內(nèi)外發(fā)展現(xiàn)狀、基本原理。提出了目前搜索引擎所面臨的問(wèn)題以及解決問(wèn)題的途徑，即本文所研究的方向：垂直搜索引擎。通過(guò)和搜索引擎在信息服務(wù)和關(guān)鍵技術(shù)上的比較分析，指出垂直搜索引擎的巨大優(yōu)勢(shì)。重點(diǎn)論述了垂直搜索引擎的基本原理和工作流程。 (2)垂直搜索引擎的關(guān)鍵問(wèn)題研究，重點(diǎn)論述垂直搜索引擎設(shè)計(jì)與實(shí)現(xiàn)時(shí)的關(guān)鍵問(wèn)題：信息采集技術(shù)，信息預(yù)處理技術(shù)等。

3、作為主題網(wǎng)絡(luò)蜘蛛搜索策略的核心部分，主題相關(guān)性判斷算法是網(wǎng)絡(luò)蜘蛛能夠圍繞設(shè)定主題進(jìn)行聚焦檢索的關(guān)鍵。對(duì)于網(wǎng)頁(yè)的主題相關(guān)性判別，使用目前較為常用的向量空間模型進(jìn)行判別。網(wǎng)絡(luò)機(jī)器人在爬行時(shí)要不斷地計(jì)算當(dāng)前網(wǎng)頁(yè)的主題相關(guān)度數(shù)值，并根據(jù)數(shù)值評(píng)價(jià)網(wǎng)頁(yè)的主題相關(guān)度，因此，它可以有效地避開(kāi)大量無(wú)關(guān)主題區(qū)域，搜索出特定主題領(lǐng)域內(nèi)的相關(guān)網(wǎng)頁(yè)。所以，垂直搜索引擎的準(zhǔn)確率、召回率和效率都遠(yuǎn)勝于通用搜索引擎。 (3)具有垂直搜索引擎功能的奧運(yùn)信息系統(tǒng)的