石油企業(yè)海量網(wǎng)頁檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)前，隨著油田企業(yè)勘探一體化的不斷發(fā)展壯大，用于生產(chǎn)、經(jīng)營、科研數(shù)據(jù)分析以及統(tǒng)一組織和管理，企業(yè)無紙化辦公電子文檔和網(wǎng)頁需求的增加和出現(xiàn)，使得文檔數(shù)量每年成倍的增加，文檔的保存量變得非常龐大大。電子文檔在現(xiàn)有搜索引擎的不能很好的提供專門的信息索引。定制出企業(yè)級文檔檢索，達(dá)到文檔信息快速查找、調(diào)用，解決以往信息檢索效率低下、查找不準(zhǔn)確的難題。根據(jù)最新互聯(lián)網(wǎng)調(diào)查，截止到目前，互聯(lián)網(wǎng)上一共有超過數(shù)以億計(jì)的網(wǎng)站信息量信息。全球最大的搜索引擎 G

2、oogle收錄了超過80億的網(wǎng)頁信息，搜索引擎的網(wǎng)頁提取系統(tǒng)（又稱爬蟲），是搜索引擎的主要應(yīng)用模塊之一，而爬蟲的速度、抓取網(wǎng)頁質(zhì)量又是奠定引擎搜索效率的主要標(biāo)準(zhǔn)。為讓爬蟲滿足企業(yè)數(shù)據(jù)搜集的需要，減少因信息重復(fù)搜集而產(chǎn)生的不必要數(shù)據(jù)重復(fù)。
　　本文針對當(dāng)前企業(yè)海量網(wǎng)頁檢索存在的缺陷，根據(jù)油田企業(yè)的具體業(yè)務(wù)需求提出一種新的信息檢索方法，在檢索系統(tǒng)的機(jī)構(gòu)化結(jié)構(gòu)中引入了多Field思想。另外，針對企業(yè)局域網(wǎng)硬件條件，系統(tǒng)采用基于Lucen