基于文本理解的偽相關(guān)反饋.pdf

1、信息資源的海量增長，提升了用戶獲取資源的可能性。但信息的過載，同時(shí)也降低了用戶獲取有用資源的可能性。隨著時(shí)代的變遷，用戶在整個(gè)檢索行為過程中，其潛在信息需求呈現(xiàn)出從單一性演變?yōu)榫哂卸嘧冃浴⒍鄬用嫘院投嗔x性的特征，并且對(duì)于信息資源的品質(zhì)要求不斷提升。但是與此同時(shí)，用戶對(duì)于其信息需求的構(gòu)造方式卻保持不變，仍以短查詢?yōu)橹?。另外，待檢索文本內(nèi)容卻是相對(duì)穩(wěn)定和固定的，使得這種用戶信息需求強(qiáng)調(diào)的高質(zhì)量和用戶查詢構(gòu)造結(jié)果的低質(zhì)量之間的矛盾越來越尖銳，

2、給文本檢索中的相關(guān)性研究帶來極大的挑戰(zhàn)。就文本檢索中的偽相關(guān)反饋(PseudoRelevance Feedback，PRF)技術(shù)而言，如何分析和提高反饋源質(zhì)量，即偽相關(guān)文檔(pseudo relevant document)中與用戶查詢更相關(guān)的信息尤為重要，是提升PRF魯棒性的核心問題。其中，對(duì)文本的分析和理解，即文本的表示或建模方式是實(shí)現(xiàn)文本間相關(guān)性研究的關(guān)鍵。本文工作將以文本理解為基礎(chǔ)，圍繞提高反饋源質(zhì)量方法、減輕“查詢偏移”現(xiàn)象為

3、主旨，研究PRF中的若干問題。具體工作內(nèi)容如下:
　　1.針對(duì)PRF中，由于偽相關(guān)文檔內(nèi)容（或主題）冗余及語義相對(duì)單一，加劇了“查詢偏移”現(xiàn)象。為了緩解這一問題，本文利用復(fù)雜網(wǎng)絡(luò)實(shí)現(xiàn)文本理解，研究在文本網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)評(píng)價(jià)過程中，考慮網(wǎng)絡(luò)中節(jié)點(diǎn)之間信息缺失和不確定性的影響，提出強(qiáng)度熵概念評(píng)估、量化和識(shí)別文本網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(diǎn)，通過文本內(nèi)容詞項(xiàng)之間特定的關(guān)聯(lián)關(guān)系實(shí)現(xiàn)文本關(guān)鍵詞的抽取，識(shí)別偽相關(guān)文檔中的關(guān)鍵詞。進(jìn)一步地，通過融入隱式查詢結(jié)果

4、多樣化的思想，從用戶多層面信息需求角度出發(fā)，抽取和構(gòu)建偽相關(guān)文檔集，提出一種基于文本關(guān)鍵詞質(zhì)量的PRF方法。不僅提高了文本的標(biāo)引能力，還達(dá)到了改善反饋源質(zhì)量的目標(biāo)。
　　2.針對(duì)傳統(tǒng)PRF將文檔作為反饋源最小單元提取擴(kuò)展詞，提取粒度簡單粗糙，使得反饋源質(zhì)量下降，檢索結(jié)果魯棒性差，存在查詢性能過度依賴于偽相關(guān)文檔質(zhì)量的問題。研究利用文本內(nèi)容分析技術(shù)，嘗試將文本語義內(nèi)容看作待區(qū)分單元，將抽象的文檔內(nèi)容表征文檔，即用偽文檔來表示文檔內(nèi)容

5、作為反饋源，緩解反饋源質(zhì)量不高的問題。在偽文檔中尋找與用戶信息需求更加符合的語義層面的體現(xiàn)，實(shí)現(xiàn)了從更細(xì)微的粒度來提取擴(kuò)展詞，提出了一種基于偽文檔的PRF方法。
　　3.針對(duì)主題內(nèi)容分析中，存在詞項(xiàng)詞頻對(duì)主題建模影響的問題，使得主題建模結(jié)果不能很好地體現(xiàn)建模數(shù)據(jù)集的本質(zhì)，即高頻詞對(duì)低頻詞在主題建模中的負(fù)面影響，使得低頻詞無法完成表達(dá)文本語義的能力。提出利用特定的新聞?wù)Z料中富含的標(biāo)題信息對(duì)主題模型進(jìn)行優(yōu)化的方法，以提升低頻詞的表達(dá)能