基于位置語言模型的中文信息檢索方法研究.pdf

1、伴隨著全球信息化進(jìn)程的迅猛發(fā)展，網(wǎng)絡(luò)上的中文信息資源變得越來越豐富，如何從這些海量數(shù)據(jù)中挖掘出有價(jià)值的中文信息，已逐漸成為信息檢索領(lǐng)域的研究熱點(diǎn)，信息檢索技術(shù)的提高也隨之變得重要起來。
　　在現(xiàn)有的檢索模型中，文檔的得分主要都是基于詞項(xiàng)在文檔內(nèi)的頻率，逆文檔頻率以及文檔長度而得到的，并沒有充分考慮匹配到的查詢?cè)~項(xiàng)在文檔中所處位置的近鄰性信息。雖然這些檢索模型也有被應(yīng)用到中文信息檢索中并取得了不錯(cuò)的成績，但其檢索效果仍有提升的空間。

2、因此，本文就基于位置語言模型的中文信息檢索方法進(jìn)行了研究。主要工作包括以下兩個(gè)方面:
　　第一，將位置語言模型引入到中文信息檢索中進(jìn)行建模，利用文檔中詞與詞之間出現(xiàn)位置的近鄰性關(guān)系，將查詢?cè)~項(xiàng)在文檔中出現(xiàn)的位置信息聚集在一起，以便獲得與查詢主題更為相關(guān)的檢索文檔。我們將中文文本信息采用基于詞表和基于二元兩種分詞方法進(jìn)行切分，切分后的文檔詞與詞之間用空格區(qū)分，在建模時(shí)文檔中的位置信息以詞為單位進(jìn)行標(biāo)識(shí)，這樣不僅考慮了詞與詞之間的位置

3、近鄰性，而且在一定程度上考慮了詞間的復(fù)合關(guān)系，有助于提高檢索的準(zhǔn)確率。我們?cè)贜TCIR-5和NTCIR-6中文文檔測試集上均進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，基于位置語言模型的中文信息檢索建模方法相對(duì)于傳統(tǒng)的檢索方法來說擁有更好的檢索性能。
　　第二，在偽相關(guān)反饋方法中加入文檔的位置特征，幫助原始查詢獲取更合適的擴(kuò)展詞項(xiàng)。該方法將反饋文檔中的詞項(xiàng)位置信息添加到相關(guān)性模型中，充分考慮了查詢?cè)~項(xiàng)在反饋文檔中出現(xiàn)的位置，利用位置語言模型將反饋文