基于后綴樹模型的流文本表示研究及其應(yīng)用.pdf

1、隨著因特網(wǎng)的不斷普及，流數(shù)據(jù)處理逐漸受到人們的關(guān)注。相對于傳統(tǒng)的靜念數(shù)據(jù)，流數(shù)據(jù)具有高度的流動(dòng)性，對實(shí)時(shí)更新的要求較高。本文面向網(wǎng)絡(luò)信息內(nèi)容分析這一背景，針對流數(shù)據(jù)處理中的流文本表示問題，考察了現(xiàn)有的文本表示方法，提出并實(shí)現(xiàn)了基于后綴樹模型(STM)的流文本表示方法。該表示方法具有以下特點(diǎn)： 　● 利用后綴樹模型動(dòng)念增刪的特性，支持對流文本表示進(jìn)行實(shí)時(shí)更新，直接對后續(xù)操作結(jié)果產(chǎn)生影響； 　● 利用后綴樹模型快速匹配的

2、特性，可以實(shí)時(shí)獲得表示流文本的向量，不需要進(jìn)行分詞以及特征提取等復(fù)雜計(jì)算： 　●采用不定長匹配，得到合適的語言粒度，能夠較好地反映文本特征； 　●利用了上下文的位置信息，可以為后續(xù)操作提供更多的信息量； 　● 由于不需要進(jìn)行分詞和特征提取，該表示方法與具體語種無關(guān)。 在此基礎(chǔ)上，本文將基于后綴樹的文本表示方法結(jié)合分類算法，以SDanlAssassin郵件過濾平臺(tái)為依托，實(shí)現(xiàn)了一個(gè)垃圾郵件過濾系統(tǒng)。

3、該過濾系統(tǒng)采用通用后綴樹模型(GSTM)表示訓(xùn)練集中的郵件，對于到達(dá)的新郵件，利用郵件內(nèi)容的上下文位罱信息，進(jìn)行文本位置的不定長多元統(tǒng)計(jì)，從而獲得新郵件與不同訓(xùn)練集的相似程度，確定郵件所屬類別。理論分析和實(shí)驗(yàn)表明： 　●將長度為N的新郵件加入訓(xùn)練集，訓(xùn)練時(shí)間為O(N)，滿足了訓(xùn)練集的動(dòng)態(tài)變化； ● 對長度為N的新郵件進(jìn)行過濾，過濾時(shí)間為O(N)； 　●在相同語料上，該系統(tǒng)的準(zhǔn)確率和召回率均達(dá)到或超過了其他基