短文本聚類及聚類結(jié)果描述方法研究.pdf

1、碩士學(xué)位論文ResearchonShortTextClusteringandClusterDescriptionMethod學(xué)21111051大連理工大學(xué)DalianUniversityofTechnology大連理工大學(xué)碩士學(xué)位論文摘要Web20技術(shù)和移動互聯(lián)網(wǎng)技術(shù)的高速發(fā)展催生了大量新型的互聯(lián)網(wǎng)應(yīng)用，如交互式問答系統(tǒng)、微信、微博等。這些互聯(lián)網(wǎng)應(yīng)用產(chǎn)生了大量的短文本信息并且改變了當(dāng)前互聯(lián)網(wǎng)信息展現(xiàn)形式。短文本與傳統(tǒng)的篇章型網(wǎng)頁有很大的

2、不同，短文本表達(dá)簡潔，用詞不規(guī)范，大量使用流行語、網(wǎng)絡(luò)詞并且增長迅速。短文本的這些特點使得針對長文本的傳統(tǒng)文本聚類方法不再適用，因此，發(fā)展針對于短文本的聚類算法對獲取短文本中蘊(yùn)含的豐富信息具有重大意義。本論文對文本信息聚類的關(guān)鍵技術(shù)進(jìn)行了深入的探討，在分析了短文本的特點后，提出針對短文本的聚類方法和聚類結(jié)果描述方法，論文的主要研究內(nèi)容如下：首先，本文提出了一種兩階段的短文本聚類方法。該方法為了有效的解決短文本動態(tài)增長以及數(shù)據(jù)量巨大的問題

3、，采用了分而治之的策略。首先，本文設(shè)定一個合理的窗口大小，使其在動態(tài)增長的短文本上依次滑動，對窗口內(nèi)的短文本采用傳統(tǒng)的層次聚類方法進(jìn)行聚類，得到小的類簇，稱之為微簇。接著，本文采用基于信息熵的方法對不同窗口間得到的微簇進(jìn)行歸并，并且在歸并的過程中進(jìn)行兩點處理：第一、在多次歸并過程中沒有改變的類簇，如果其中包含的短文本個數(shù)較少，則認(rèn)為該類簇所包含的短文本構(gòu)成孤立點和異常點，對其進(jìn)行刪除操作；第二、對剩余的類簇計算穩(wěn)定度，如果穩(wěn)定度到達(dá)一定

4、值，本文認(rèn)為該類簇進(jìn)入一個穩(wěn)定態(tài)，從類簇集合中拿出保存為最終結(jié)果。其次，本文提出了一種短文本聚類結(jié)果描述方法。該方法從兩個角度對類簇進(jìn)行描述：第一、本文采用基于PageRank的短文本排序算法對類簇中的短文本進(jìn)行排序，選擇最具代表性的前k個短文本作為類簇代表；第二、對得到的k個短文本進(jìn)行詞匯權(quán)重計算，選取若干詞匯作為類簇標(biāo)簽。一方面，類簇短文本代表可以增強(qiáng)類簇的易讀性；另一方面，類簇標(biāo)簽可以作為類簇的標(biāo)識，起到類似于標(biāo)題的作用。最后，本