社區(qū)問答搜索中排序方法的研究.pdf

1、近年來，社區(qū)問答(Community Question Answering，CQA)網(wǎng)站聚集了大量真實用戶產(chǎn)生的問題和回答，在CQA中進行搜索已成為信息檢索領域一個重要熱點研究分支。其研究方向主要包含基于查詢關鍵詞的問題搜索排序，和對問題數(shù)據(jù)（包含問題、回答和用戶）本身進行質(zhì)量排序兩個方面。前者稱之為動態(tài)排序，與輸入的關鍵詞有關;后者稱之為靜態(tài)排序，與關鍵詞無關，僅與問題數(shù)據(jù)本身的質(zhì)量有關。
　　動態(tài)和靜態(tài)排序的研究都面臨著重要的

2、挑戰(zhàn)。動態(tài)排序研究面臨的主要挑戰(zhàn)是用戶的關鍵詞時而簡短，難以理解用戶搜索意圖;時而冗長，難以抓住關鍵詞匹配的重點。而靜態(tài)排序研究面臨的主要挑戰(zhàn)是大部分與靜態(tài)排序相關的研究都聚集在挖掘高質(zhì)量的回答和找到權(quán)威的用戶，而忽視了低質(zhì)量的回答對于CQA網(wǎng)站的損害，以及回答質(zhì)量和用戶權(quán)威性之間的內(nèi)在聯(lián)系。因此，本文分別從以下四個方面來解決上述相應問題，從而整體上提高CQA搜索的性能。
　　首先，提出一種通過挖掘用戶搜索意圖的方法來處理短關鍵詞

3、的動態(tài)排序問題。CQA中傳統(tǒng)的問題搜索研究主要集中在長關鍵詞和問句類型關鍵詞的匹配問題。然而，當關鍵詞很短時，由于缺乏對用戶搜索意圖的理解，該問題就變得很有挑戰(zhàn)性。為解決這個問題，本文從多個不同的數(shù)據(jù)源挖掘短關鍵詞的搜索意圖，并提出一個新的基于搜索意圖的語言模型。該語言模型不僅利用了目前最先進的問題搜索算法，還結(jié)合了從不同數(shù)據(jù)源中挖掘出的用戶搜索意圖。實驗表明，該方法可以顯著地提升短關鍵詞上問題搜索的性能。
　　其次，提出一種基于

4、關鍵詞切分的方法來處理長關鍵詞的動態(tài)排序問題。本文回答了如何利用關鍵詞切分的技術來改進問題搜索的性能。這里的關鍵詞切分是指把輸入的關鍵詞分割成自然語言短語片段。首先，提出一種基于重排序方法的關鍵詞切分技術。重排序的方法目前被廣泛應用于自然語言處理領域，但就目前所知，該方法還沒有被用在關鍵詞切分的研究中。其次，提出一種將關鍵詞切分應用到相關性排序的新的方法。該方法是將原關鍵詞的單詞和切分后的片段都應用到相關性匹配中。實驗結(jié)果表明，該方法可

5、以顯著提升在長關鍵詞上問題搜索的性能。
　　再次，提出一種無監(jiān)督的低質(zhì)量回答檢測方法，來處理回答質(zhì)量評估的靜態(tài)排序問題。CQA中的問題回答質(zhì)量參差不齊，有精確的有用回答，也有不相關的無用回答。所以，自動檢測低質(zhì)量的回答有助于CQA網(wǎng)站的信息管理，為用戶提供高質(zhì)量內(nèi)容。為此，提出了三個假設:大部分回答都是正常的;低質(zhì)量的回答與同一問題中其它的回答有顯著不同;不同的問題有不同的回答質(zhì)量評價標準?；谶@三個假設，本文提出了一個無監(jiān)督的最

6、優(yōu)化模型，模型中每一個回答都被賦予一個軟標簽，以此來表示回答質(zhì)量。實驗結(jié)果表明，該模型可以顯著提升低質(zhì)量回答檢測的性能。
　　最后，提出一種基于相互強化的三元模型來處理用戶權(quán)威性評估的靜態(tài)排序問題。直觀上，用戶的權(quán)威性與回答的質(zhì)量有正相關關系。所以，用戶權(quán)威性評估離不開回答質(zhì)量評估。與此同時，提問者通常選擇質(zhì)量最高的回答作為最佳回答，這樣就使得最佳回答者與提問者和其他回答者之間形成競賽關系。我們建立了一個迭代式相互強化的三元模型，