基于統(tǒng)計分詞改進(jìn)算法的網(wǎng)絡(luò)信息檢索系統(tǒng)研究.pdf

1、本文在對檢索系統(tǒng)關(guān)鍵技術(shù)進(jìn)行研究的基礎(chǔ)上，主要實現(xiàn)了一個以統(tǒng)計分詞改進(jìn)算法為基礎(chǔ)的網(wǎng)絡(luò)信息檢索系統(tǒng)。該系統(tǒng)通過網(wǎng)頁內(nèi)容提取技術(shù)對網(wǎng)頁進(jìn)行處理，形成純文本形式，并通過中文自動分詞技術(shù)對其進(jìn)行分詞處理，提取出特征索引詞，提供給檢索模塊，實現(xiàn)對信息的檢索。 對幾種分詞算法進(jìn)行了詳細(xì)介紹與研究，并在比較分析的基礎(chǔ)上，提出了一種統(tǒng)計分詞的改進(jìn)算法，這種算法不僅可以提高未登錄詞的識別能力，同時引入了串匹配分詞算法，降低了高頻冗余詞對文本特征

2、索引詞提取的干擾，為信息檢索提供了良好的處理依據(jù)，增強(qiáng)了檢索性能，改進(jìn)分詞算法本身也具有良好的擴(kuò)展性和應(yīng)用性。 介紹和比較了幾種常見的檢索模型，并在對它們進(jìn)行研究分析的基礎(chǔ)上，采用了較為成熟的布爾檢索模型實現(xiàn)檢索系統(tǒng)，并通過建立索引文件，加速了對表征文本內(nèi)容的詞組匹配，實現(xiàn)對信息進(jìn)行檢索的目的。 最后的試驗結(jié)果表明，改進(jìn)的分詞算法，在準(zhǔn)確率和召回率上，基本可以滿足信息處理分詞要求，而檢索系統(tǒng)本身，也已達(dá)到一般信息檢索的要