問答系統(tǒng)中的短文本聚類研究與應(yīng)用.pdf

1、伴隨著Web 2.0技術(shù)的快速發(fā)展，用戶交互式問答系統(tǒng)已經(jīng)吸引了越來越多的關(guān)注。交互式問答系統(tǒng)提供了一個從提問人到解答者的紐帶，并且利用各種機制不斷激勵問答社區(qū)中的人提供答案、解決問題。然而，交互式問答系統(tǒng)中往往充滿了各種相似甚至重復(fù)的問題。這些系統(tǒng)中的冗余問題大大影響了用戶快速信息獲取的需求。
　　 問題致力于使用短文本聚類算法組織交互式問答系統(tǒng)中的問題。提出了一種新的聚類策略，TermCut策略。該策略首先發(fā)現(xiàn)文檔集中的核心

2、詞匯，然后按照核心詞匯的出現(xiàn)與否聚類短文本。為了檢測這些核心詞匯，我們將短文本集建模成一張圖的形式。在這張圖中，每一個節(jié)點代表了一條短文本，而節(jié)點之間的邊代表了它們之間的語義關(guān)聯(lián)。這樣，按照某個詞的出現(xiàn)與否，可以二分此圖使得，其中一個子圖中的短文本包含此詞，而另一個子圖中的短文本不包含此詞。我們選擇那些能夠最大化類內(nèi)相似度，同時最小化類間相似度的詞，作為所謂的核心詞匯。TermCut然后基于核心詞匯的出現(xiàn)與否劃分短文本集，劃分結(jié)果中一個

3、簇包含該核心詞匯，而另一個簇不包含此詞。通過不斷的二分文檔集，最終，一系列的聚類結(jié)果得以形成。
　　 基于TermCut聚類策略，我們進(jìn)一步提出了兩種具體的聚類算法，分別是基于目標(biāo)類數(shù)的TermCut(CNTC），以及基于閾值的TermCut（TTC）。二者的區(qū)別在于終止條件的不同。CNTC使用先驗的目標(biāo)聚簇數(shù)作為終止條件。當(dāng)算法已經(jīng)產(chǎn)生了足夠多的聚類時，便停止繼續(xù)二分的過程。在某些特定情況下，我們很難獲得具體的目標(biāo)聚簇數(shù)。這種

4、情況下，我們提出了TTC算法。與CNTC不同，TTC使用一個相似度閾值作為算法的終止條件。當(dāng)劃分過程不能導(dǎo)致類內(nèi)相似度的增加和類間相似度的減少時，我們便終止該算法，并將結(jié)果輸出。
　　 我們?nèi)缓笤O(shè)計了一個原型系統(tǒng)，將所提出的短文本聚類算法應(yīng)用到問題推薦中去。首先，提出了一種基于主題的用戶興趣度模型來獲取交互式問答系統(tǒng)中不同用戶的興趣?；谠撆d趣模型，我們可以按照用戶的興趣，將系統(tǒng)中的問題進(jìn)行排序。排序較高的問題將被聚類，并推薦給