文本分類中詞語(yǔ)權(quán)重計(jì)算方法的改進(jìn)及應(yīng)用.pdf

1、重慶大學(xué)碩士學(xué)位論文文本分類中詞語(yǔ)權(quán)重計(jì)算方法的改進(jìn)及應(yīng)用碩士研究生：黎剛指導(dǎo)教師：熊忠陽(yáng)教授學(xué)科、專業(yè)：計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)重慶大學(xué)計(jì)算機(jī)學(xué)院二OO七年十月I摘要互聯(lián)網(wǎng)的發(fā)展和信息技術(shù)的進(jìn)步，帶來(lái)了信息量的猛增，人們很難在浩瀚的信息中找到真正需要的信息，雖然各種搜索引擎的出現(xiàn)在一定程度上解決了這一問(wèn)題，但是各種搜索引擎都是簡(jiǎn)單的看是否包含關(guān)鍵字，這樣搜索結(jié)果十分龐大，并且不利于用戶找到需要的信息。文本自動(dòng)分類是一個(gè)有效的辦法，已經(jīng)成為一項(xiàng)具

2、有使用價(jià)值的關(guān)鍵技術(shù)。近年來(lái)多種統(tǒng)計(jì)理論和機(jī)器學(xué)習(xí)方法被用來(lái)進(jìn)行文本的自動(dòng)分類，掀起了文本自動(dòng)分類的研究和應(yīng)用的熱潮。文本自動(dòng)分類問(wèn)題的最大特點(diǎn)和困難之一是特征空間的高維性和文檔表示向量的稀疏性。尋求一種有效的詞語(yǔ)權(quán)重的計(jì)算方法，降低特征空間的維數(shù)提高分類的效率和精度，成為文本自動(dòng)分類中的首要問(wèn)題。因此，本文在研究中文文本分類的過(guò)程中，重點(diǎn)放到了詞語(yǔ)權(quán)重的計(jì)算方法的改進(jìn)上，在此過(guò)程中做了如下的工作：①分析了傳統(tǒng)詞語(yǔ)權(quán)重計(jì)算方法的三個(gè)缺點(diǎn)

3、：第一，沒(méi)有考慮特征項(xiàng)在類間的分布信息。第二，沒(méi)有考慮特征項(xiàng)在類內(nèi)的分布信息。第三，沒(méi)有考慮特征項(xiàng)不完全分類的情況。本文從詞語(yǔ)的頻度，集中度和離散度三個(gè)角度進(jìn)行考慮，提出了本文的詞語(yǔ)權(quán)重計(jì)算方法：TFIDFDIWFDB。②用特征詞在類間和類內(nèi)部的離散度來(lái)描述特征詞在類間和類內(nèi)部分布的情況，形成了TFIDFDI的詞語(yǔ)權(quán)重計(jì)算方法；同時(shí)進(jìn)一步針對(duì)傳統(tǒng)詞語(yǔ)權(quán)重計(jì)算方法沒(méi)有考慮特征項(xiàng)不完全分類的情況引入了詞頻差異WFDB來(lái)進(jìn)行修正，從而形成了本

4、文的詞語(yǔ)權(quán)重計(jì)算方法：TFIDFDIWFDB，彌補(bǔ)了上述缺點(diǎn)。③用實(shí)驗(yàn)證明，本文提出的改進(jìn)的詞語(yǔ)權(quán)重的計(jì)算方法TFIDFDIWFDB，用于KNN分類結(jié)果，好于傳統(tǒng)詞語(yǔ)權(quán)重計(jì)算方法用于KNN的分類結(jié)果。實(shí)驗(yàn)結(jié)果表明，無(wú)論從整體混淆矩陣、總體查全率、查對(duì)率、以及各個(gè)類的查全率、查對(duì)率方面，改進(jìn)的詞語(yǔ)權(quán)重計(jì)算方法的分類效果都要好于用傳統(tǒng)的詞語(yǔ)權(quán)重計(jì)算方法的分類效果。④在改進(jìn)的詞語(yǔ)權(quán)重的計(jì)算方法TFIDFDIWFDB的基礎(chǔ)上，本文進(jìn)一步用遺傳算