企業(yè)級(jí)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展和日益普及，網(wǎng)上的信息量在爆炸性增長(zhǎng)?；ヂ?lián)網(wǎng)被普及前，人們查閱資料第一想到的便是擁有大量書籍資料的圖書館，到了今天或許很多人都會(huì)選擇一種更方便、快捷、全面、準(zhǔn)確的方式—互聯(lián)網(wǎng)。人們登錄到某個(gè)搜索引擎網(wǎng)站，輸入代表自己所關(guān)心信息的關(guān)鍵詞或者短語，依據(jù)返回的相關(guān)信息列表、摘要和超鏈接引導(dǎo)，試探尋找自己需要的內(nèi)容。現(xiàn)在的搜索引擎技術(shù)已經(jīng)能做到在多數(shù)情況下滿足用戶的這種需要。搜索引擎是按照一定的策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，

2、對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的，并提高對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分類與檢索。
　　本論文描述的搜索系統(tǒng)是面向企業(yè)級(jí)應(yīng)用的，可以根據(jù)企業(yè)的具體特點(diǎn)來搜集相關(guān)信息。本系統(tǒng)以構(gòu)建高性能搜索引擎的檢索系統(tǒng)為目標(biāo)，系統(tǒng)地研究檢索在效率問題方面的優(yōu)化方式。本論文中對(duì)索引的結(jié)構(gòu)、分詞方式、索引的創(chuàng)建更新策略等相關(guān)問題做了比較詳細(xì)的闡述。在系統(tǒng)結(jié)構(gòu)上采用分布式索引結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)都配備了熱備節(jié)點(diǎn)，可以實(shí)現(xiàn)24小

3、時(shí)不間斷的穩(wěn)定服務(wù)；并且還支持內(nèi)存索引，可以滿足實(shí)時(shí)數(shù)據(jù)的檢索需求；為了提高檢索效率，使用了倒排文件分段組織方式；為了提高檢索合并速度，在索引模塊中采用了對(duì)相關(guān)度和時(shí)間分別建立索引的方法。
　　本系統(tǒng)使用一種詞典結(jié)構(gòu)，通過結(jié)合中文自動(dòng)分詞與未登錄詞識(shí)別技術(shù)，把基本分詞結(jié)果與在識(shí)別過程中生成的擴(kuò)展詞典上的分詞結(jié)果都選擇作為索引詞?？紤]到大規(guī)模檢索過程中消耗大量磁盤I/O的特點(diǎn)，加入了緩存技術(shù)及相關(guān)的頁面替換算法。
　　結(jié)論表明