華南理工

1、華南木棉中文網(wǎng)頁分類器,華南理工大學(xué)信息網(wǎng)絡(luò)工程研究中心 　 廣東省計(jì)算機(jī)網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室 　 曹鴻(隊(duì)長(zhǎng)) 李嘉林 陳勝榮 朱旭圻,全國搜索引擎與網(wǎng)上信息學(xué)術(shù)研討會(huì)SEWM 2006---中文文本分類,目錄,系統(tǒng)模塊系統(tǒng)流程測(cè)試結(jié)果總結(jié)與展望,模塊結(jié)構(gòu),,,,,,,網(wǎng)頁去噪模塊,預(yù)處理 對(duì)天網(wǎng)格式的訓(xùn)練集1，訓(xùn)練集2及CWT20G文件進(jìn)行解壓，得到三個(gè)網(wǎng)頁文檔集合(11類別訓(xùn)練集，8類別訓(xùn)練

2、集，待分類網(wǎng)頁集），一個(gè)網(wǎng)頁對(duì)應(yīng)一個(gè)文檔，以docID命名。去除標(biāo)簽 去掉無用的HTML語法標(biāo)簽信息模板去噪 對(duì)45M訓(xùn)練集進(jìn)行,數(shù)據(jù)集 原來大小 去噪后大小11類別訓(xùn)練集 200M 68M 8 類別訓(xùn)練集 45M 18MCWT20G 20G

3、 11G,模板去噪,使用模板去噪以后，可以比較好的去除網(wǎng)頁中導(dǎo)航欄，廣告條，網(wǎng)站介紹，公司信息，無關(guān)鏈接等與網(wǎng)頁主題內(nèi)容無關(guān)的噪音信息 。網(wǎng)頁模板選取選取一個(gè)結(jié)構(gòu)相似的網(wǎng)頁模板。我們使用網(wǎng)頁URL作為衡量網(wǎng)頁模板相似性的因子。在訓(xùn)練集找出一個(gè)網(wǎng)頁，它的URL與待分類網(wǎng)頁URL具有最長(zhǎng)相同前綴，這個(gè)網(wǎng)頁就被視為網(wǎng)頁模板。模板去噪記待去噪網(wǎng)頁為t, 選取的模板為s. 然后利用JTidy建立兩個(gè)網(wǎng)

4、頁的DOM樹，從根結(jié)點(diǎn)開始，依次比較，如果有相同的結(jié)點(diǎn)，則認(rèn)為該結(jié)點(diǎn)為噪音信息而刪除。,,中文分詞模塊,中文分詞使用開源中文分詞系統(tǒng)ICTCLAS，只保留名詞。進(jìn)行中文分詞后繼續(xù)進(jìn)行stemming處理。Rainbow的禁止詞是SMART system 的524個(gè)，我們進(jìn)行擴(kuò)充達(dá)到1500個(gè)。,,特征空間壓縮,采用了IG（Information Gain: IG）特征選擇算法對(duì)數(shù)據(jù)集進(jìn)行特征降維，壓縮特征空間。200M數(shù)據(jù)集的特征

5、空間維數(shù)為：65565（共138365維）45M數(shù)據(jù)集的特征空間維數(shù)為：4800（共13024維）,,分類模塊,,NB：樸素貝葉斯（Naïve Bayes）算法SVM：支持向量機(jī)（Support Vector Machine）算法SVMlight算法：對(duì)joachims的二元分類器進(jìn)行了改進(jìn)（結(jié)合OVA算法），使其可用于多元分類，并引入加權(quán)策略（OVA-WWT），提高分類精度。,OVA-WWT策略：One Vs A

6、ll With Weighted Threshold,傳統(tǒng)OVA，只是比較文檔對(duì)N個(gè)類別的相似度，簡(jiǎn)單地取相似度最大的那個(gè)類別，由于這N個(gè)相似度是由N個(gè)不同的分類器產(chǎn)生，簡(jiǎn)單地取最大值作為閾值策略并不合適我們提出OVA-WWT（One-Vs-All-With-Weighted Threshold）算法，在OVA算法的結(jié)果融合階段引入加權(quán)閾值策略，以提高類別公平度，從而提高分類精度。,人工操作,CWT20G中有1900個(gè)文件由于具有某

7、些無法識(shí)別的字符，使用本系統(tǒng)不能進(jìn)行特征表示。我們會(huì)先統(tǒng)計(jì)20G網(wǎng)頁的分類分布情況，然后將這些網(wǎng)頁歸入到分布概率最大的那個(gè)類別中去。,目錄,系統(tǒng)模塊系統(tǒng)流程測(cè)試結(jié)果總結(jié)與展望,,中文分詞,特征壓縮,去除HTML標(biāo)簽及模板去噪,,,按天網(wǎng)格式解壓,,,去除HTML標(biāo)簽及模板去噪,按天網(wǎng)格式解壓,,,,參數(shù)調(diào)優(yōu),,特征建模,分類模型,,中文分詞,,,特征表示,訓(xùn)練集網(wǎng)頁文檔,,訓(xùn)練集,CWT20G,待分類網(wǎng)頁文檔,分類器

8、,,,,分類結(jié)果,出錯(cuò)處理,,,,,,,測(cè)試結(jié)果,用200M網(wǎng)頁集的訓(xùn)練集部分建模，測(cè)試集部分進(jìn)行測(cè)試，本分類系統(tǒng)的宏平均正確率達(dá)到87.61%，宏平均召回率達(dá)到84.02% ，宏平均F1值達(dá)85.78%。用45M 網(wǎng)頁集的訓(xùn)練集部分建模，測(cè)試集部分進(jìn)行測(cè)試，本分類系統(tǒng)的宏平均正確率達(dá)到87.96%，宏平均召回率達(dá)到85.79%，宏平均F1值達(dá)86.86%。,20G類別分布（200M模型）,目錄,系統(tǒng)結(jié)構(gòu)系統(tǒng)模塊算法描述總結(jié)與展