海關(guān)網(wǎng)頁搜集系統(tǒng)的設(shè)計.pdf_第1頁
已閱讀1頁，還剩63頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、搜索引擎是隨著WEB信息的迅速增加，從1994年開始逐漸發(fā)展起來的技術(shù)。根據(jù)Netcraft的最新互聯(lián)網(wǎng)調(diào)查，截止到2006年3月31日，互聯(lián)網(wǎng)上一共有超過8000萬個網(wǎng)站。目前全球最大的搜索引擎Google更是收錄了超過80億張網(wǎng)頁，這就對搜索引擎技術(shù)提出了更高的要求。搜索引擎的網(wǎng)頁搜集系統(tǒng)（又稱爬蟲），是它的主要模塊之一，而爬蟲的搜集速度、抓取網(wǎng)頁質(zhì)量又是評價搜索引擎好壞的主要指標(biāo)。本文將分析現(xiàn)有爬蟲的體系結(jié)構(gòu)，從網(wǎng)頁抓取和信息提取

2、兩方面解釋爬蟲的工作原理。為了讓爬蟲能夠滿足海量數(shù)據(jù)搜集的需要，減少因網(wǎng)頁重復(fù)搜集而產(chǎn)生的不必要開銷，本文采用了一種新的方法——分裂式Bloom filter算法，并在“asBetter-超越”搜索引擎的分布式結(jié)構(gòu)中引入了這種思想。另外，針對局域網(wǎng)條件，“asBetter-超越”采用基于巴科斯范式的HTML詞法分析自動機(jī)，對網(wǎng)頁進(jìn)行頁面分析，從而高效的提取網(wǎng)頁的純正文內(nèi)容。最后，對“asBetter-超越”進(jìn)行完整性驗證和性能分析，并探

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論