基于詞典與統(tǒng)計(jì)結(jié)合的中文分詞方法研究及全文檢索系統(tǒng)設(shè)計(jì).pdf

1、隨著信息時(shí)代的飛速發(fā)展，信息量越來越多，如何從眾多的信息中找出自己想要的信息變得越來越重要，如荊楚資源庫中的武當(dāng)山資源庫，資源總量達(dá)到幾百G，各種類型的文檔總數(shù)有幾千個(gè)，從眾多的文檔中找出特定的信息變得比較困難，信息檢索技術(shù)就是用來解決這個(gè)問題。全文檢索作為信息檢索的一種，正在扮演者越來越重要的角色，很多大型搜索引擎都采用了全文檢索技術(shù)。
　　中文分詞是中文信息處理的第一步，無論是自然語言處理還是全文檢索，都離不開中文信息的提取，

2、而信息提取必然涉及到分詞。中文由于字與字之間沒有空格作為詞分隔符且中文語義語境都比較復(fù)雜，導(dǎo)致中文分詞一直是一個(gè)難點(diǎn)，針對(duì)中文分詞人們提出了各種各樣的方法來分詞，如詞典分詞、統(tǒng)計(jì)分詞、理解分詞等。
　　本文分析了全文檢索技術(shù)的原理并討論了開源的全文檢索框架Lucene，接著針對(duì)全文檢索必須要使用文本切分提取信息，討論了中文分詞相關(guān)原理及技術(shù)，針對(duì)目前廣泛采用的詞典分詞和統(tǒng)計(jì)分詞做了詳細(xì)的討論，比較了各種分詞方法的優(yōu)點(diǎn)以及缺點(diǎn)，提出

3、了一種基于詞典與統(tǒng)計(jì)相結(jié)合的分詞方法。
　　本文所做的工作如下:
　　1.分析了全文檢索和中文分詞的研究背景和研究現(xiàn)狀，并對(duì)目前比較常用的全文檢索和中文分詞技術(shù)做了分析和描述;
　　2.分析了常用的分詞技術(shù)并在比較各種方法的優(yōu)劣的基礎(chǔ)上提出了一種基于詞典與統(tǒng)計(jì)相結(jié)合的分詞方法，該方法利用詞典分詞切分整體效果良好和統(tǒng)計(jì)分詞具有歧義識(shí)別的優(yōu)點(diǎn)，采用詞典分詞做粗分和HMM模型做歧義判斷，以達(dá)到提高分詞精度的目的。