中文搜索引擎Robot技術(shù)研究與實現(xiàn).pdf

1、Robot是搜索引擎的關(guān)鍵技術(shù)之一，它已經(jīng)發(fā)展為一門涉及人工智能、計算機(jī)網(wǎng)絡(luò)、分布式處理、數(shù)據(jù)庫、數(shù)據(jù)挖掘、自然語言處理等多領(lǐng)域的理論和技術(shù)。隨著Web信息的爆炸式增長和人們對信息服務(wù)要求的提高，人們期待Robot的搜集性能越來越強(qiáng)。當(dāng)前提高Robot性能最有效的方法是采用分布式技術(shù)，但是這會產(chǎn)生一些新的問題，如URL劃分策略、URL匹配方式、負(fù)載平衡、擴(kuò)展性和健壯性等?；诜植际郊夹g(shù)的研究，給出了一個基于URL分級散列機(jī)制的中文Web

2、信息搜集系統(tǒng)（簡稱UCHS系統(tǒng)），為了解決上述問題，在該系統(tǒng)中運(yùn)用了新的設(shè)計方案、URL劃分策略和匹配算法；針對中文Web信息搜集這一特點，提到了一些有價值的搜索策略和方法。首先介紹了課題的研究背景、意義和研究內(nèi)容，給出了全文的組織結(jié)構(gòu)。其次對搜索引擎及其關(guān)鍵部分Robot技術(shù)進(jìn)行了全面的分析研究，從搜索引擎的歷史、分類、工作原理、評價標(biāo)準(zhǔn)和發(fā)展趨勢等五個方面對搜索引擎作了全面的闡述。再次從種類、搜索策略、更新策略等問題入手重點分析了R

3、obot技術(shù)，并指出當(dāng)前Robot技術(shù)面臨的問題。在此基礎(chǔ)上，給出了UCHS系統(tǒng)。針對采用分布式技術(shù)帶來的新問題，提出了基于URL分級散列定位和匹配的方案，并為之設(shè)計了兩種適用于中文Web信息搜集的URL散列函數(shù)。為了進(jìn)一步提高中文Web信息搜集的性能，提出了基于域名的URL過濾技術(shù)、基于首頁內(nèi)容的中文網(wǎng)站識別技術(shù)、基于首頁的搜索策略和基 于內(nèi)容變化度的更新策略等技術(shù)和策略?；谏鲜鲅芯砍晒?，給出了UCHS系統(tǒng)的設(shè)計模型以及實現(xiàn)