IT知識(shí)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的信息量一直以驚人的速度在增長,這個(gè)過程中已經(jīng)誕生了很多優(yōu)秀的搜索引擎,但是隨著信息的規(guī)模的日趨龐大,通用搜索引擎已經(jīng)不能完全滿足用戶的要求。在這樣的背景下垂直搜索引擎出現(xiàn)了,并成為了當(dāng)前研究的一個(gè)熱點(diǎn)。IT知識(shí)搜索引擎與通用索引擎的區(qū)別在于其專注于IT知識(shí)這樣的一個(gè)特別的專業(yè)領(lǐng)域,它是一種典型的垂直搜索引擎。
　　本文對(duì)搜索引擎的概念、分類、結(jié)構(gòu)框架作了介紹,并分析了IT知識(shí)搜索引擎作為垂直搜索引擎的一些特點(diǎn)。技術(shù)論述重點(diǎn)

2、在搜索引擎的兩個(gè)部分:爬蟲系統(tǒng)和數(shù)據(jù)檢索系統(tǒng)。在爬蟲系統(tǒng),本文分別的介紹了通用爬蟲和主題爬蟲的原理和主要實(shí)現(xiàn)思路,并對(duì)比了兩者的異同,并著重對(duì)主題爬蟲進(jìn)行了原理上的分析。主題爬蟲實(shí)際上是在通用爬蟲的基礎(chǔ)上進(jìn)行功能擴(kuò)充而得到得,它在抓取頁面時(shí)過濾掉與主題不相關(guān)或者低質(zhì)量的網(wǎng)頁,其擴(kuò)充的功能主要包括關(guān)鍵詞和主題相關(guān)度計(jì)算模塊。在數(shù)據(jù)檢索系統(tǒng),本文主要主要論述了IT知識(shí)搜索引擎所適用的索引結(jié)構(gòu)以及排序算法。
　　論文最后基于Heritr

3、ix框架實(shí)現(xiàn)了一個(gè)IT主題爬蟲,這個(gè)框架的特點(diǎn)在于可以實(shí)施擴(kuò)展。通過實(shí)驗(yàn),進(jìn)行通用爬蟲和主題爬蟲的爬取數(shù)據(jù)質(zhì)量對(duì)比分析,驗(yàn)證了本文爬蟲設(shè)計(jì)的思路以及設(shè)計(jì)的實(shí)用性。
　　從整體上看來,本文的主要研究的問題是:如何設(shè)計(jì)和實(shí)現(xiàn)一個(gè)較為完整的IT知識(shí)搜索引擎。就技術(shù)上而言,實(shí)現(xiàn)這樣的一個(gè)系統(tǒng)實(shí)際上是許多技術(shù)的一個(gè)整合,其中有的部分屬于一些公開資料上可以查到的技術(shù),或者在一些開源軟件上已經(jīng)實(shí)現(xiàn)的技術(shù),這部分的內(nèi)容主要放在第二章的技術(shù)綜述中;