搜索引擎中中文分詞與糾錯(cuò)模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，各種應(yīng)用服務(wù)層出不窮，搜索引擎是其中最流行的一種服務(wù)，僅次子電子郵件。伴隨著搜索引擎的普及，越來(lái)越多的人通過(guò)使用搜索引擎，獲取日常工作和生活中需要的信息。 搜索引擎涉及多種技術(shù)，其中，自然語(yǔ)言處理技術(shù)是其中重要的一種，它可以幫助搜索引擎提高查詢準(zhǔn)確度，并豐富搜索引擎的特色功能。中文分詞技術(shù)與中文糾錯(cuò)技術(shù)是自然語(yǔ)言處理技術(shù)的兩個(gè)分支，可應(yīng)用在搜索引擎的分析系統(tǒng)與檢索系統(tǒng)中，對(duì)于提高用戶檢索效率和檢索結(jié)果準(zhǔn)確度

2、具有十分重要的意義。 論文選題來(lái)源于一個(gè)提供旅游信息搜索的搜索引擎系統(tǒng)。文中對(duì)中文分詞技術(shù)和中文查詢?cè)~糾錯(cuò)技術(shù)進(jìn)行了研究，并從軟件工程的角度出發(fā)，設(shè)計(jì)與實(shí)現(xiàn)了系統(tǒng)的中文分詞模塊與糾錯(cuò)模塊。具體的工作包括： （1）對(duì)一種基于規(guī)則的分詞算法進(jìn)行了改進(jìn)，使用雙hash詞典結(jié)構(gòu)降低了算法正向、反向最大匹配時(shí)的匹配次數(shù)；使用正反最大匹配切分策略取代逐詞切分策略，降低了算法切分字符串的次數(shù)，提高了算法的分詞效率。 （2）通過(guò)

3、相關(guān)算法研究提出并實(shí)現(xiàn)了一種基于拼音hash詞典的同音別字詞糾錯(cuò)算法，應(yīng)用于搜索引擎系統(tǒng)中，用于同音別字詞的糾錯(cuò)。 （3）改進(jìn)了雙字驅(qū)動(dòng)詞典的結(jié)構(gòu)，并結(jié)合新的字符串模糊匹配算法對(duì)漏字多字查詢?cè)~進(jìn)行糾錯(cuò)，增強(qiáng)了系統(tǒng)對(duì)漏字多字查詢?cè)~的糾錯(cuò)能力。 （4）將詞典技術(shù)與Ajax技術(shù)相結(jié)合，實(shí)現(xiàn)了查詢?cè)~智能提示功能。 （5）采用N-gram切分的新詞識(shí)別算法，用于發(fā)現(xiàn)未登錄詞，實(shí)現(xiàn)分詞詞庫(kù)的動(dòng)態(tài)更新，提高了中文分詞模塊的分詞