中文分詞技術在信息檢索系統(tǒng)中的應用研究.pdf

1、隨著信息化時代的不斷進步和發(fā)展,人們獲取信息的手段也在不斷的發(fā)生著變化,從原始的手工查找到現(xiàn)在的計算機搜索引擎。計算機技術的發(fā)展極大的促進了信息檢索技術的進步,搜索引擎作為信息檢索的主要手段,其發(fā)展受到越來越多研究機構和個人的重視。搜索引擎作為檢索工具,其發(fā)展給我們的生活帶來了前所未有的方便和快捷。當人類利用google、baidu等搜索引擎進行信息的查詢和檢索時,它們是如何知道我們最想要的結果是什么,有多少結果是我們需要的?
　

2、　漢語言的博大精深使它不能像英語那樣容易讓人理解。當利用計算機處理漢語言時,輸入計算機的僅僅是一連串的字符序列,除了標點符號就沒有其他的分割標志,而英語卻有一個明顯的分割標志—空格,這使?jié)h語分詞遇到了一些在英語中沒有的問題,這些問題都集中體現(xiàn)在中文分詞技術中,其中以歧義詞的切分和未登錄詞的識別為代表。
　　本文前面主要從理論上分析和介紹了目前的各種漢語自動分詞方法,以及搜索引擎技術的相關情況。對各種分詞方法的技術特點進行了闡述,對

3、自動分詞發(fā)展現(xiàn)狀和趨勢作了概括性的總結。討論了中文分詞中存在的兩個主要問題—歧義詞的切分和未登錄詞的識別,簡單介紹了中文分詞和信息檢索的關系。
　　目前的分詞算法主要有基于詞典和無詞典兩大類,這兩種算法各有優(yōu)缺點。本文的分詞系統(tǒng)是基于詞典的,詞典作為整個分詞系統(tǒng)的核心,它的好壞直接影響到分詞系統(tǒng)的效率和準確率,所以要從時間和空間多個方面考慮分詞詞典的組織結構。本文的主要工作如下:
　　1、簡要的介紹了文章的研究背景和意義以及

4、中文搜索引擎的相關情況,深入的研究了目前國內中文自動分詞發(fā)展情況和中文自動分詞面臨的問題。
　　2、介紹了目前常用的幾種詞典算法結構,根據(jù)已有的詞典算法并結合前人的研究工作,對基于雙數(shù)組Trie樹詞典算法進行了改進,利用Lucene全文索引擎工具包的切分工具對原始語料進行初切分,并結合統(tǒng)計方法在切分過程中對歧義切分和未登錄詞識別進行了相應的處理,最后實現(xiàn)本文的分詞系統(tǒng)CSSD。
　　3、把改進后的詞典算法和目前現(xiàn)有的幾種詞典