一種新的搜索引擎分詞詞典研究.pdf

1、搜索引擎(search engine)是指根據(jù)一定的策略、運用特定的計算機程序搜集互聯(lián)網(wǎng)上的信息,在對信息進行組織和處理后,并將處理后的信息顯示給用戶,是為用戶提供檢索服務(wù)的系統(tǒng)。目前,搜索引擎作為中文信息處理的一個重要范疇,在實際應(yīng)用中起到了越來越重要的作用。搜索引擎技術(shù)的首要也是關(guān)鍵環(huán)節(jié)就是中文分詞。
　　 在自然語言中,詞是最小的能夠獨立活動的有意義的語言成分。與西文不同,中文詞與詞之間沒有明顯的分割標(biāo)志,由此,中文分詞成

2、為中文信息處理的基礎(chǔ)一環(huán)。中文分詞廣泛應(yīng)用于中文全文信息檢索、搜索引擎、自動分類、自動摘要、語音合成、自動校對、機器翻譯(MT)等領(lǐng)域。分詞方法的性能直接影響到中文信息處理的實時性及準(zhǔn)確性。
　　 現(xiàn)有的中文分詞算法可分為三大類:基于理解、基于字符串匹配和基于統(tǒng)計的分詞方法。其中最基本的也是最常用的算法屬基于字符串匹配的分詞方法,又稱機械分詞法,也叫基于詞典的分詞方法,最大匹配法是該方法常用的解決方案。這種算法需要構(gòu)造一個分詞詞

3、典。詞典的構(gòu)造與詞典查找算法對基于詞典的分詞算法是相當(dāng)重要的。現(xiàn)在常用的有三種詞典機制,它們分別是基于整詞二分算法、TRIE索引樹的算法和逐字二分算法的三種不同的分詞詞典機制。對于基于整詞二分的詞典結(jié)構(gòu)其數(shù)據(jù)結(jié)構(gòu)簡單、占用空間小,易于維護,但由于采用全詞匹配的查詢過程,需要多次試探匹配,才能得出最后結(jié)果,效率比較低下；基于TRIE索引樹的分詞算法其數(shù)據(jù)結(jié)構(gòu)復(fù)雜、空間浪費較為嚴(yán)重,樹的構(gòu)造和維護也比較復(fù)雜,而它最大的優(yōu)點在于采用“逐字匹配

4、”的來對詞典內(nèi)詞條進行搜索,相對來講搜索的效率較高；同樣采用了逐字匹配方法的還有基于逐字二分的算法,但從本質(zhì)上來說,并不是完全意義上的逐字匹配。基于對這三種算法的分析,本文提出了一種新的分詞算法-帶層次的逐字二分算法,既提高效率,又把復(fù)雜度控制在一定的限度內(nèi),在復(fù)雜度和效率之間找到一個有效的平衡點。
　　 本文首先簡單描述了已有的分詞算法、分詞詞典機制,接著介紹了這種新的詞典機制-帶層次的逐字二分算法,通過改進詞典機制提高最大匹