面向垂直搜索的聚焦爬蟲研究及應(yīng)用.pdf

1、隨著搜索引擎技術(shù)的發(fā)展,服務(wù)于特定領(lǐng)域的垂直搜索應(yīng)用開始興起。作為注重專業(yè)化與結(jié)構(gòu)分析的垂直搜索技術(shù),其前提是建立在與主題相關(guān)的結(jié)構(gòu)化的元數(shù)據(jù)信息之上。因此,如何準(zhǔn)確、及時地獲取結(jié)構(gòu)化數(shù)據(jù)信息成為了當(dāng)前垂直搜索領(lǐng)域研究的一大課題。網(wǎng)絡(luò)爬蟲作為搜索引擎信息源的提供者,能夠自動提取網(wǎng)頁超鏈接,并負(fù)責(zé)下載相應(yīng)的Web信息。但它在結(jié)構(gòu)化數(shù)據(jù)信息的獲取方面,還不能滿足垂直搜索引擎的需要。為此,本文提出用面向垂直搜索的聚焦爬蟲技術(shù)來解決上述問題。在

2、簡單介紹垂直搜索與網(wǎng)絡(luò)爬蟲的技術(shù)背景之后,圍繞面向垂直搜索的聚焦爬蟲這一中心,本文完成了下列主要研究及應(yīng)用工作:1)系統(tǒng)地描述了面向垂直搜索的聚焦爬蟲的概念、主要工作原理及流程、關(guān)鍵技術(shù)分析,還探討了其發(fā)展趨勢。2)針對聚焦爬蟲最核心基礎(chǔ)的兩大工作環(huán)節(jié):網(wǎng)頁抓取和信息提取,提倡借鑒國外先進(jìn)的開源項目技術(shù):網(wǎng)絡(luò)爬蟲Heritrix和解析工具Web-Harvest。同時也為后續(xù)的應(yīng)用作了技術(shù)鋪墊。3)在現(xiàn)有的研究基礎(chǔ)上,引入一個實際的職位招