基于粒子群優(yōu)化算法的中文全文檢索系統(tǒng)研究與開發(fā).pdf

1、如何從海量的信息中獲取有用的信息，如何從迅速爆炸的信息中及時(shí)獲取最新信息，這是檢索技術(shù)目前面臨的挑戰(zhàn)。全文檢索是現(xiàn)代信息檢索技術(shù)的一個(gè)非常重要的分支，是為解決信息的高效獲取問題而應(yīng)運(yùn)而生，它是以電子文本數(shù)據(jù)為主要處理對(duì)象，基于全文索引，使用自然語(yǔ)言進(jìn)行檢索的技術(shù)。 存在兩種基本的索引庫(kù)結(jié)構(gòu)，即基于“字表”的索引庫(kù)和基于“詞表”的索引庫(kù)。在對(duì)中文全文檢索的有關(guān)技術(shù)，尤其是對(duì)中文信息處理的基礎(chǔ)技術(shù)：“中文分詞技術(shù)”進(jìn)行了較為深入的研

2、究后，本文提出了一種基于粒子群優(yōu)化算法(PSO)的適用于構(gòu)建全文索引的分詞方案。該分詞方案結(jié)合了“字表法”和“詞表法”的優(yōu)點(diǎn)，在減少信息冗余的前提下得到準(zhǔn)確的檢索結(jié)果。 粒子群優(yōu)化算法自提出以來(lái)，由于它的計(jì)算快速性和算法本身的易實(shí)現(xiàn)性，引起了國(guó)際上相關(guān)領(lǐng)域眾多學(xué)者的關(guān)注和研究，已在函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、模糊系統(tǒng)控制等領(lǐng)域取得長(zhǎng)足的發(fā)展。本文是粒子群算法在求解實(shí)際問題中的應(yīng)用。受粒了群算法解決旅行商問題的肩發(fā)，本文把中文分詞問題

3、轉(zhuǎn)化成了求解最短路徑問題，并給出了其完整的建模和求解過程。精選了128條具有典型交集型歧義字段的切分例句作為測(cè)試用例，在與中科院計(jì)算所漢語(yǔ)詞法分析系統(tǒng)ICTCLAS的實(shí)驗(yàn)結(jié)果對(duì)比中，表明該分詞方案是適合于全文檢索系統(tǒng)的分詞方案。 根據(jù)本文提出的分詞算法，從實(shí)際問題出發(fā)，把該分詞算法應(yīng)用于實(shí)際的FAQ(常見問題解答)全文檢索系統(tǒng)的設(shè)計(jì)中。采用面向?qū)ο蠛湍Ｐ万?qū)動(dòng)的程序設(shè)計(jì)方法，利用開源項(xiàng)目Lucene建立和實(shí)現(xiàn)全文本索引庫(kù)，文中給出