基于體裁的中文網(wǎng)頁(yè)分類.pdf

1、隨著通訊及網(wǎng)絡(luò)技術(shù)的發(fā)展，人們已經(jīng)從信息缺乏的時(shí)代過(guò)渡到信息極為豐富的數(shù)字化的時(shí)代。以文本格式存儲(chǔ)的信息資源的激增，增加了對(duì)于快速、自動(dòng)文本分類的迫切需求。然而，目前大部分文本自動(dòng)分類的研究都是基于內(nèi)容的，沒(méi)有考慮文章的功能及形式結(jié)構(gòu)上的特點(diǎn)，在某些方面并不滿足人們的需求。而基于體裁的文本分類的研究，在對(duì)信息資源進(jìn)行有效的管理和檢索等方面，都有一定的積極作用。 本文探討了中文網(wǎng)頁(yè)的體裁分類問(wèn)題，主要的研究?jī)?nèi)容包括： （1

2、）中文網(wǎng)頁(yè)體裁分類的特征項(xiàng)選取問(wèn)題。傳統(tǒng)的文本內(nèi)容分類僅以詞語(yǔ)作為特征項(xiàng)，而由于語(yǔ)言表達(dá)方式的差異，英文體裁分類關(guān)于特征項(xiàng)選取的相關(guān)研究并不完全適用于中文。本文主要研究區(qū)分不同體裁的各種特征；提出了用模糊字符串模式表示不同體裁用語(yǔ)特點(diǎn)的特征；結(jié)合自動(dòng)抽取方法和人工歸納的方式來(lái)獲得表示特征的模糊字符串模式。實(shí)現(xiàn)方法上，擺脫了傳統(tǒng)的文本分類對(duì)切分詞處理和詞典的依賴，通過(guò)改進(jìn)PAT樹的存儲(chǔ)結(jié)構(gòu)，對(duì)文本進(jìn)行序列模式挖掘來(lái)獲得候選特征項(xiàng)，克服了傳

3、統(tǒng)方法中的詞庫(kù)更新問(wèn)題及切分詞處理對(duì)新詞語(yǔ)、英文短語(yǔ)提取效果不佳等的缺陷。 （2）特征項(xiàng)的權(quán)重計(jì)算問(wèn)題?；隗w裁分類多種特征集的特點(diǎn)，探討不同特征空間對(duì)體裁類別的判別能力問(wèn)題，提出了一種評(píng)價(jià)方法；據(jù)此，提出特征項(xiàng)的權(quán)值調(diào)整策略，即根據(jù)不同特征空間對(duì)體裁類別判別能力的強(qiáng)弱，對(duì)文本在不同特征空間的特征項(xiàng)權(quán)值進(jìn)行調(diào)整。 （3）分類方法。引入文本的關(guān)聯(lián)分類規(guī)則挖掘，結(jié)合關(guān)聯(lián)規(guī)則分類對(duì)SVM分類器的分類性能進(jìn)行修正。討論了關(guān)聯(lián)規(guī)則