基于語言模型的句子檢索技術(shù)研究.pdf

1、信息檢索是近幾年來發(fā)展迅速的計算機(jī)應(yīng)用學(xué)科。句子檢索是細(xì)粒度的信息檢索，在自動問答、文檔文摘、機(jī)器翻譯等領(lǐng)域有著廣泛的應(yīng)用。本文的課題來源于“雙語例句檢索系統(tǒng)”中句子檢索技術(shù)的研究。句子檢索的主要難點(diǎn)是信息量少、缺少上下文，這使得在查詢與句子之間的“詞不匹配”問題導(dǎo)致檢索失敗的概率比普通文檔檢索的概率大。這要求句子檢索技術(shù)必須充分利用已有的信息，如詞序信息、句子結(jié)構(gòu)，并且深入“理解”句子。本文研究側(cè)重解決部分句子檢索中的“詞不匹配”問題

2、，以提高檢索性能。
　　本文的研究從兩方面入手，一、是從查詢處理角度，二、是從句子檢索模型角度。查詢是用戶信息需求的表示。用戶輸入的查詢存在拼寫錯誤、同義詞使用不當(dāng)、單詞形態(tài)錯誤等問題，這些都會導(dǎo)致查詢中的“詞不匹配”問題。本文第二章研究了基于語言模型的“查詢修正模型”，以統(tǒng)一模型處理多種查詢變換，并以統(tǒng)計語言模型評估變換結(jié)果，求得最優(yōu)的“修正查詢”。查詢修正能夠部分解決“詞不匹配”問題，對于提高句子檢索系統(tǒng)有重要意義。
　

3、　本文第三章先研究了基于詞義語言模型的檢索模型，作為后續(xù)句子檢索模型研究的基礎(chǔ)。詞義語言模型是在統(tǒng)計語言模型基礎(chǔ)上引入詞義表示的統(tǒng)計模型，嘗試以統(tǒng)計方法解決傳統(tǒng)語言模型中“詞不匹配”的問題。在句子檢索方面，本文第四章采用了線性判別模型作為句子檢索的計算模型。特征選用一元語言模型、基于詞義的編輯距離和詞義語言模型。線性判別模型模型的優(yōu)點(diǎn)在于，對查詢和文檔的分布假設(shè)比傳統(tǒng)基于隱馬爾可夫的語言模型要弱，以系統(tǒng)的準(zhǔn)確率MAP作為優(yōu)化目標(biāo)，有利于