社區(qū)問答中問句相似度計(jì)算和分類技術(shù)的研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的發(fā)展給越來越多人的日常生活帶來便利的同時(shí)，往往使得人們淹沒在信息的海洋中，很難及時(shí)地找到所需要的信息，也就是信息過載現(xiàn)象。隨著Web2.0的迅速發(fā)展，人們希望能在一個(gè)社區(qū)中用自然語言進(jìn)行互動(dòng)的提問、回答來獲取所需信息，于是大批社區(qū)問答系統(tǒng)應(yīng)運(yùn)而生，滿足了人們的要求。一方面，在社區(qū)問答系統(tǒng)中，用戶可以進(jìn)行提問，等待其他用戶來回答，或者直接檢索與自己提問相近的問題，進(jìn)而得到答案，即問句相似度計(jì)算問題。另一方面，隨著社區(qū)問答系統(tǒng)的

2、運(yùn)營(yíng)，積累了大量的“問答對(duì)”語料，需要對(duì)“問答對(duì)”進(jìn)行分門別類，保障系統(tǒng)健壯的運(yùn)行，即問句分類問題。因此，本文所做的主要研究工作包括:
　　首先，傳統(tǒng)的問答系統(tǒng)(QA)，如TRECQA任務(wù)，只是找到簡(jiǎn)單問題的答案，并不足以回答現(xiàn)實(shí)世界中用戶的問題，而且沒有用戶交互特性，而基于社區(qū)的問答系統(tǒng)(CQA)，積累了大量的“問答對(duì)”可以利用。本文提出了一種基于LDA的匹配框架來解決相似問句的匹配問題，分別從問句的統(tǒng)計(jì)信息、語義信息和主題信息

3、三方面來計(jì)算問句相似度。統(tǒng)計(jì)信息指基于VSM的統(tǒng)計(jì)模型，語義信息指基于WordNet的語義模型，主題信息指基于LDA的主題模型，分別對(duì)三種模型計(jì)算問句相似度，綜合得到問句的整體相似度。
　　其次，在社區(qū)問答系統(tǒng)中，一方面，用戶進(jìn)行提問，由于不知道答案而不能確定問題所屬類別時(shí)，可先不選擇類別提交問題，等得到正確解答后，再利用答案信息對(duì)問題進(jìn)行分類，從而避免用戶隨機(jī)給問題標(biāo)記一個(gè)類別而導(dǎo)致分類體系雜亂;另一方面，隨著社區(qū)問答的運(yùn)營(yíng)，新

4、的話題主題出現(xiàn)，原有的分類體系就不太適應(yīng)，可以利用答案信息進(jìn)行問句分類。因此問句分類對(duì)社區(qū)問答系統(tǒng)是及其重要而且必要的。本文提出了兩種解決方法:一是提出一種結(jié)合問題分類和答案分類的組合模型;二是通過映射函數(shù)將問題由訓(xùn)練集中的答案語義網(wǎng)來表示，再用SVM進(jìn)行分類。
　　最后，本文在Yahoo! Answers網(wǎng)站上抽取的真實(shí)標(biāo)注數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并通過多種評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)，結(jié)果表明本文提出的方法較傳統(tǒng)方法有所改進(jìn)，取得了較