短文本聚類及聚類結(jié)果描述方法研究.pdf

1、碩士學(xué)位論文ResearchonShortTextClusteringandClusterDescriptionMethod學(xué)21111051大連理工大學(xué)DalianUniversityofTechnology大連理工大學(xué)碩士學(xué)位論文摘要Web20技術(shù)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的高速發(fā)展催生了大量新型的互聯(lián)網(wǎng)應(yīng)用，如交互式問(wèn)答系統(tǒng)、微信、微博等。這些互聯(lián)網(wǎng)應(yīng)用產(chǎn)生了大量的短文本信息并且改變了當(dāng)前互聯(lián)網(wǎng)信息展現(xiàn)形式。短文本與傳統(tǒng)的篇章型網(wǎng)頁(yè)有很大的

2、不同，短文本表達(dá)簡(jiǎn)潔，用詞不規(guī)范，大量使用流行語(yǔ)、網(wǎng)絡(luò)詞并且增長(zhǎng)迅速。短文本的這些特點(diǎn)使得針對(duì)長(zhǎng)文本的傳統(tǒng)文本聚類方法不再適用，因此，發(fā)展針對(duì)于短文本的聚類算法對(duì)獲取短文本中蘊(yùn)含的豐富信息具有重大意義。本論文對(duì)文本信息聚類的關(guān)鍵技術(shù)進(jìn)行了深入的探討，在分析了短文本的特點(diǎn)后，提出針對(duì)短文本的聚類方法和聚類結(jié)果描述方法，論文的主要研究?jī)?nèi)容如下：首先，本文提出了一種兩階段的短文本聚類方法。該方法為了有效的解決短文本動(dòng)態(tài)增長(zhǎng)以及數(shù)據(jù)量巨大的問(wèn)題

3、，采用了分而治之的策略。首先，本文設(shè)定一個(gè)合理的窗口大小，使其在動(dòng)態(tài)增長(zhǎng)的短文本上依次滑動(dòng)，對(duì)窗口內(nèi)的短文本采用傳統(tǒng)的層次聚類方法進(jìn)行聚類，得到小的類簇，稱之為微簇。接著，本文采用基于信息熵的方法對(duì)不同窗口間得到的微簇進(jìn)行歸并，并且在歸并的過(guò)程中進(jìn)行兩點(diǎn)處理：第一、在多次歸并過(guò)程中沒(méi)有改變的類簇，如果其中包含的短文本個(gè)數(shù)較少，則認(rèn)為該類簇所包含的短文本構(gòu)成孤立點(diǎn)和異常點(diǎn)，對(duì)其進(jìn)行刪除操作；第二、對(duì)剩余的類簇計(jì)算穩(wěn)定度，如果穩(wěn)定度到達(dá)一定

4、值，本文認(rèn)為該類簇進(jìn)入一個(gè)穩(wěn)定態(tài)，從類簇集合中拿出保存為最終結(jié)果。其次，本文提出了一種短文本聚類結(jié)果描述方法。該方法從兩個(gè)角度對(duì)類簇進(jìn)行描述：第一、本文采用基于PageRank的短文本排序算法對(duì)類簇中的短文本進(jìn)行排序，選擇最具代表性的前k個(gè)短文本作為類簇代表；第二、對(duì)得到的k個(gè)短文本進(jìn)行詞匯權(quán)重計(jì)算，選取若干詞匯作為類簇標(biāo)簽。一方面，類簇短文本代表可以增強(qiáng)類簇的易讀性；另一方面，類簇標(biāo)簽可以作為類簇的標(biāo)識(shí)，起到類似于標(biāo)題的作用。最后，本