基于用戶意圖分析的交互式問(wèn)答技術(shù)研究.pdf

1、隨著海量網(wǎng)絡(luò)信息的積累和規(guī)模的高速增長(zhǎng),準(zhǔn)確快捷地找到自己所需要的信息已成為人們迫切的需求。自動(dòng)問(wèn)答系統(tǒng),通過(guò)理解用戶自然語(yǔ)言形式的問(wèn)句,返回答案或包含答案的文本片段,在一定程度上提高了用戶信息檢索的效率和準(zhǔn)確性。自動(dòng)問(wèn)答認(rèn)為用戶的每一個(gè)輸入都是語(yǔ)義信息完整、獨(dú)立于上下文語(yǔ)境的問(wèn)句。另外,自動(dòng)問(wèn)答系統(tǒng)對(duì)相同的問(wèn)句總是分析出相同的信息需求,并且應(yīng)該返回相同的答案,而忽視了不同用戶的檢索意圖之間存在的差異。
　　但是,在真實(shí)的應(yīng)用環(huán)境

2、中,用戶往往需要通過(guò)與系統(tǒng)進(jìn)行自然的、連續(xù)的、上下文相關(guān)的信息交互,以解決各種復(fù)雜的信息任務(wù)。用戶的輸入除了以信息檢索為目的的問(wèn)句外,還有關(guān)于系統(tǒng)功能的咨詢、對(duì)系統(tǒng)回答的反饋等表達(dá)其他意圖的對(duì)話;后續(xù)問(wèn)句中往往會(huì)出現(xiàn)基于上下文語(yǔ)境的信息缺省現(xiàn)象,例如指代、省略等等;對(duì)于同一個(gè)問(wèn)句,由于用戶提問(wèn)的意圖不同,所表達(dá)的信息需求也不同,進(jìn)而,所需要返回的答案也應(yīng)該有所區(qū)別。因此,用戶意圖分析和交互式問(wèn)答系統(tǒng)成為當(dāng)前信息處理領(lǐng)域的研究熱點(diǎn)。本文研

3、究基于用戶意圖分析的交互式問(wèn)答系統(tǒng)。具體的研究?jī)?nèi)容包括:
　　第一、基于言語(yǔ)行為的用戶意圖分析。通過(guò)對(duì)真實(shí)環(huán)境中收集的交互式問(wèn)答語(yǔ)料分析發(fā)現(xiàn),相當(dāng)比例的用戶輸入是有關(guān)系統(tǒng)功能的咨詢、對(duì)系統(tǒng)回答的反饋等銜接性的對(duì)話。為保證信息交互的流暢性和系統(tǒng)接口的人性化,有必要對(duì)用戶輸入的意圖進(jìn)行識(shí)別,從而給出合理應(yīng)答。本文根據(jù)言語(yǔ)行為將用戶輸入的意圖分為以信息檢索為目的的問(wèn)句、功能咨詢、對(duì)系統(tǒng)的正、負(fù)面反饋等6個(gè)類別,并結(jié)合多層次的語(yǔ)言學(xué)特征,

4、使用機(jī)器學(xué)習(xí)方法進(jìn)行自動(dòng)分類。對(duì)不同意圖類型的輸入,制定不同的應(yīng)答策略,提高了系統(tǒng)處理用戶輸入的覆蓋面和泛化性。
　　第二、后續(xù)問(wèn)句中的上下文相關(guān)現(xiàn)象處理。用戶的連續(xù)問(wèn)答中往往會(huì)出現(xiàn)指代、省略等基于上下文信息的信息缺省現(xiàn)象。建立上下文語(yǔ)境模型,對(duì)問(wèn)句缺省的信息進(jìn)行補(bǔ)全是交互式問(wèn)答的基礎(chǔ)。本文收集了真實(shí)環(huán)境的中文交互式問(wèn)答語(yǔ)料,并著重在對(duì)話結(jié)構(gòu)、話題過(guò)渡的方式、上下文相關(guān)現(xiàn)象以及它們之間的關(guān)系等方面進(jìn)行了統(tǒng)計(jì)分析。在此基礎(chǔ)上，本文將

5、上下文相關(guān)現(xiàn)象的識(shí)別轉(zhuǎn)化為層次化多標(biāo)記的分類問(wèn)題,為不同的信息缺省現(xiàn)象構(gòu)建了統(tǒng)一的框架。該框架以問(wèn)句信息角色作為候選缺省信息的語(yǔ)義單位,在傳統(tǒng)的指代消解和省略識(shí)別特征的基礎(chǔ)上，針對(duì)問(wèn)句的特點(diǎn),增加信息角色及其轉(zhuǎn)移方式、問(wèn)句類型等新特征。實(shí)驗(yàn)驗(yàn)證表明,該算法的通用性更強(qiáng),識(shí)別和處理上下文相關(guān)現(xiàn)象的性能優(yōu)于其他算法。
　　第三、基于認(rèn)知模型的用戶意圖分析。對(duì)用戶檢索意圖的分析和理解是信息系統(tǒng)的關(guān)鍵,它通過(guò)檢索關(guān)鍵詞或者問(wèn)句中所表達(dá)的信

6、息需求而體現(xiàn)。問(wèn)句類型表示信息需求的類型,現(xiàn)有的工作通常將一個(gè)問(wèn)句識(shí)別為一個(gè)確定的類型,但是由于用戶意圖的差異,對(duì)同一個(gè)問(wèn)句,不同的用戶想表達(dá)的信息需求往往也不同。為了對(duì)用戶信息需求的差異性進(jìn)行建模,本文基于用戶問(wèn)答的認(rèn)知過(guò)程,提出一個(gè)具有三個(gè)維度的問(wèn)句分類體系,這三個(gè)維度分別對(duì)用戶的淺層信息需求、隱含信息需求和對(duì)答案在語(yǔ)用層次的期望進(jìn)行建模。本文首先收集并詳細(xì)分析了用戶對(duì)真實(shí)問(wèn)句在三個(gè)維度上的標(biāo)注結(jié)果,進(jìn)而通過(guò)提取領(lǐng)域無(wú)關(guān)的、多層次的

7、語(yǔ)言學(xué)特征,使用機(jī)器學(xué)習(xí)算法為每個(gè)層次構(gòu)建了自動(dòng)分類模型。實(shí)驗(yàn)證明,70％左右的隱含信息需求和語(yǔ)用期望可以被正確識(shí)別。
　　第四、基于用戶意圖多樣化的交互式問(wèn)答。鑒于對(duì)同一個(gè)問(wèn)句,具有不同檢索意圖的用戶想表達(dá)的信息需求也可能不同。目前,返回結(jié)果的意圖多樣化研究已經(jīng)在信息檢索領(lǐng)域受到廣泛關(guān)注,但在問(wèn)答領(lǐng)域卻還沒有相關(guān)的工作。本文首先提出信息需求緊湊度的概念來(lái)度量問(wèn)句是否具有多樣化的信息需求。然后,從問(wèn)句類型,即信息需求的類型和問(wèn)句話