基于統(tǒng)計(jì)模型的搜索引擎查詢糾錯(cuò)系統(tǒng).pdf

1、專業(yè)學(xué)位碩士學(xué)位論文基于統(tǒng)計(jì)模型的搜索引擎查詢糾錯(cuò)系統(tǒng)基于統(tǒng)計(jì)模型的搜索引擎查詢糾錯(cuò)系統(tǒng)QueryCrectionSystemfSearchEngineBasedonStatisticalModel作者姓名：沈健工程領(lǐng)域：軟件工程學(xué)號(hào)：31517015指導(dǎo)教師：李鳳岐完成日期：2017年5月31日大連理工大學(xué)DalianUniversityofTechnology大連理工大學(xué)專業(yè)學(xué)位碩士學(xué)位論文I摘要搜索引擎是人們?nèi)粘Ｉ钪凶畛Ｓ玫墓ぞ?/p>

2、之一，用戶使用搜索引擎進(jìn)行檢索的過程當(dāng)中，難免會(huì)輸入不明確或者錯(cuò)誤的查詢?cè)~。分析搜索引擎用戶查詢?nèi)罩究梢园l(fā)現(xiàn)用戶輸入的查詢錯(cuò)誤類型多樣，出錯(cuò)查詢占總查詢的比例超過10%。查詢糾錯(cuò)是對(duì)用戶輸入查詢進(jìn)行處理，給出用戶想要的正確查詢?cè)~，進(jìn)而檢索出正確的相關(guān)結(jié)果。因此好的查詢糾錯(cuò)方法可以有效提升用戶體驗(yàn)，提高搜索引擎自身的容錯(cuò)性和易用性。為了處理搜索引擎常見的各類查詢錯(cuò)誤，有效提高糾錯(cuò)的準(zhǔn)確率，本文首先研究了基于隱馬爾科夫模型和Ngram模型的

3、糾錯(cuò)方法，詳細(xì)說明了對(duì)Ngram語言模型進(jìn)行建立和訓(xùn)練的過程，在Ngram語言統(tǒng)計(jì)模型中加入大量由日志數(shù)據(jù)得到的詞頻以及字頻信息。區(qū)別于使用簡(jiǎn)單的語言模型，本文拼音糾錯(cuò)模塊通過將候選集合過濾問題轉(zhuǎn)化為隱馬爾科夫模型求隱藏狀態(tài)序列的問題，利用維特比算法求出最優(yōu)候選，再與原查詢和其他查詢結(jié)果對(duì)比確定最終糾錯(cuò)結(jié)果。其次利用大量搜索引擎網(wǎng)絡(luò)日志中提取的查詢數(shù)據(jù)作為方法的糾錯(cuò)數(shù)據(jù)集、模型訓(xùn)練集以及實(shí)驗(yàn)測(cè)試集，日志數(shù)據(jù)容易更新和維護(hù)，對(duì)于不同領(lǐng)域的

4、搜索引擎查詢糾錯(cuò)，采用日志作為訓(xùn)練數(shù)據(jù)集的方法也更容易移植。最后，本文分析用戶查詢?nèi)罩?，總結(jié)查詢出錯(cuò)類型，并且充分分析了傳統(tǒng)的字典集匹配法和編輯距離糾錯(cuò)方法的特點(diǎn)，結(jié)合統(tǒng)計(jì)模型糾錯(cuò)，按照合適的方式將設(shè)計(jì)的各個(gè)模塊組合，形成一套完整的搜索引擎查詢糾錯(cuò)方法，并實(shí)現(xiàn)了對(duì)應(yīng)的查詢糾錯(cuò)系統(tǒng)。實(shí)驗(yàn)驗(yàn)證了本文實(shí)現(xiàn)的查詢糾錯(cuò)系統(tǒng)具有良好的糾錯(cuò)效果，設(shè)計(jì)的糾錯(cuò)方法能夠處理搜索引擎下常見類型的查詢錯(cuò)誤并且具有較高的準(zhǔn)確率和召回率。關(guān)鍵詞：搜索引擎；查詢糾錯(cuò)