中文短文本分類(lèi)中關(guān)聯(lián)強(qiáng)度語(yǔ)言模型的研究.pdf

1、信息技術(shù)的急速發(fā)展在不斷地改變?nèi)藗兩罘绞降耐瑫r(shí)，也使得信息傳播的形式在不斷地豐富和翻新。短文本(通常文本長(zhǎng)度小于160字符)作為手機(jī)簡(jiǎn)訊、在線(xiàn)即時(shí)聊天、論壇用戶(hù)評(píng)論等信息的主要表現(xiàn)形式，已經(jīng)成為網(wǎng)絡(luò)中大眾信息傳播的重要渠道。短文本分類(lèi)技術(shù)，基于內(nèi)容分析的將短文本分派到預(yù)先定義的類(lèi)別中，在信息安全和商戰(zhàn)信息獲取等領(lǐng)域具有廣泛重要應(yīng)用前景。
　　 短文本分類(lèi)實(shí)際上是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，因?yàn)樗哂虚L(zhǎng)度短、所描述概念信號(hào)弱和高的

2、類(lèi)間模糊度等固有缺陷。這導(dǎo)致常用文本分類(lèi)方法都不太適用于短文本分類(lèi)。解決短文本分類(lèi)困難的一條有效途徑為挖掘短文本中本身存在的內(nèi)涵關(guān)聯(lián)，進(jìn)而提取其中辨識(shí)度高的信息。鑒于此，本文提出了一種關(guān)聯(lián)強(qiáng)度語(yǔ)言模型加深考慮了詞之間的關(guān)聯(lián)性和有序性以便能夠提煉出更多的內(nèi)涵，從而彌補(bǔ)短文本先天信息量不足的缺陷。該模型其重要貢獻(xiàn)和核心在于：
　　 (1)針對(duì)傳統(tǒng)方法的不足，提出了一種新的能夠有效地描述詞對(duì)之間關(guān)聯(lián)性的標(biāo)尺--累積連接分布函數(shù)。

3、>　　 (2)保留了原始語(yǔ)言模型中更適合中文短文本分類(lèi)的兩大特性--關(guān)聯(lián)性和有序性的同時(shí)，將通過(guò)累積連接分布函數(shù)挖掘出來(lái)的隱含內(nèi)聯(lián)關(guān)系融入語(yǔ)言模型中，改變語(yǔ)言模型的鏈?zhǔn)浇Y(jié)構(gòu)，形成一種新的辨別能力較強(qiáng)的短文本分類(lèi)模型。
　　 (3)在要處理大規(guī)模短文本的情形下，通過(guò)特征選擇的方式有效地控制原始模型的詞表大小從而降低了模型的復(fù)雜度。
　　 該模型基于語(yǔ)言模型理論架構(gòu)，從挖掘詞對(duì)之間的關(guān)聯(lián)性入手，運(yùn)用挖掘出來(lái)的隱含內(nèi)聯(lián)關(guān)系降