基于GB18030的多語(yǔ)種全文檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息社會(huì)的不斷發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用的不斷深入，互聯(lián)網(wǎng)已經(jīng)成為人類獲取信息的最重要途徑之一。在信息爆炸時(shí)代，人們面對(duì)的煩惱不再是信息資源的貧乏而是資源過(guò)剩甚至于泛濫。 如何在信息海洋中找到準(zhǔn)確有用的信息已不是一個(gè)新的課題。 全文檢索技術(shù)因此應(yīng)運(yùn)而生。全文檢索技術(shù)是將海量的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)建立索引，檢索的方式來(lái)迅速搜索定位要查找的信息。 信息的內(nèi)涵比較大，這里特指計(jì)算機(jī)中的文本信息。即文字語(yǔ)言表達(dá)的信息。當(dāng)提及到

2、多語(yǔ)種或者多文種文字信息時(shí)，人們不禁會(huì)想到實(shí)現(xiàn)世界上所有文字的統(tǒng)一編碼Unicode。然而，自2000年我國(guó)強(qiáng)制性標(biāo)準(zhǔn)GB18030推行之后，理論上要實(shí)現(xiàn)多語(yǔ)種非Unicode不能用的論斷就此推翻。 本文對(duì)多語(yǔ)種全文檢索中所涉及的關(guān)鍵技術(shù)包括字符編碼、漢語(yǔ)分詞、索引架構(gòu)、檢索算法等進(jìn)行了探討和研究。為了能夠支持我國(guó)獨(dú)立研制的編碼字符集標(biāo)準(zhǔn)，實(shí)現(xiàn)在該領(lǐng)域計(jì)算機(jī)處理的自主權(quán)，本文提出了利用GB18030為編碼基礎(chǔ)來(lái)設(shè)計(jì)與實(shí)現(xiàn)全文檢索

3、系統(tǒng)。使得多語(yǔ)種信息處理不再依賴于Unicode，支持我國(guó)自主知識(shí)產(chǎn)權(quán)，也使得我國(guó)中文信息處理技術(shù)更上一個(gè)臺(tái)階。 本文主要分以下幾部分內(nèi)容： 一.常用字符編碼的概述和GB18030特點(diǎn)的分析 二.多語(yǔ)種分詞技術(shù)的概述和實(shí)現(xiàn) 三.以倒排索引為基礎(chǔ)的Clucene架構(gòu)的分析和內(nèi)部代碼剖析 四.如何利用Clucene架構(gòu)來(lái)擴(kuò)展實(shí)現(xiàn)基于GB18030的全文檢索組件技術(shù)。 五.對(duì)基于GB18030的