基于頻繁共現(xiàn)熵的跨語言網(wǎng)頁自動分類研究.pdf

1、獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，’除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。學(xué)位論文作者簽名：’枇R簽字日期：≯。11年占月，p日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解江西師范大學(xué)研究生院有關(guān)保留、

2、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)江西師范大學(xué)研究生院可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。(保密的學(xué)位論文在解密后適用本授權(quán)書)學(xué)位論文作者簽名：1陽而導(dǎo)師簽名：另刃J處簽字日期：砂11年莎月f口日’簽字日期：加f年莎月矽日籮礦：：_，希；i，0蔫、～一●摘要網(wǎng)頁自動分類可有效的提高互聯(lián)網(wǎng)信息的組

3、織與應(yīng)用，在建立網(wǎng)頁自動分類模型時，需要大量的可信的已標(biāo)注數(shù)據(jù)集。相對中文網(wǎng)頁來說網(wǎng)頁數(shù)量增長迅速，已標(biāo)注數(shù)據(jù)集缺乏，然而數(shù)據(jù)集標(biāo)注又是項(xiàng)費(fèi)時費(fèi)力的工作，相對英文網(wǎng)頁而言，有較多的已標(biāo)注的英文網(wǎng)頁，中文和英文雖然是不同的語言表述，但中文和英文之間也存在著共同的語義，可以考慮通過英文知識來對中文進(jìn)行分類。已有研究表明，可以通過已標(biāo)注英文網(wǎng)頁來建立中文網(wǎng)頁自動分類模型。在傳統(tǒng)的分類模型中，是訓(xùn)練集與待分類數(shù)據(jù)集的所有共現(xiàn)熵特征作為分類知識進(jìn)

4、行分類的，然而實(shí)際上并不是所有的共現(xiàn)熵特征都能很好地表示分類知識，因此如何更好地選擇共現(xiàn)特征是一個關(guān)鍵的問題。針對已標(biāo)注中文數(shù)據(jù)集的缺乏，而有已標(biāo)注英文網(wǎng)頁較豐富的情況，本文提出了基于頻繁共現(xiàn)熵的分類器，該分類器適用于待分類數(shù)據(jù)集的批量自動分類，引用了待分類數(shù)據(jù)集的詞特征信息，用頻繁共現(xiàn)熵方法選取更能表示分類知識的詞特征信息。首先，為了更好把已標(biāo)注的英文網(wǎng)頁信息應(yīng)用到中文網(wǎng)頁分類中，本文使用了GoogleTranslate翻譯工具：然后

5、，使用頻繁共現(xiàn)熵計(jì)算所有共現(xiàn)特征的共現(xiàn)熵值，按其值從大到小進(jìn)行排序，接著選取不同比例的排序靠前的共現(xiàn)特征作為分類知識，通過已標(biāo)注英文網(wǎng)頁信息訓(xùn)練分類模型，充分應(yīng)用英文知識對中文進(jìn)行分類。本文工作和創(chuàng)新點(diǎn)在于：1提出了頻繁共現(xiàn)熵方法，并把該方法應(yīng)于到跨語言網(wǎng)頁分類中，該方法能提取更好的分類特征信息。2建立了基于頻繁共現(xiàn)熵的自適應(yīng)貝葉斯模型，還有基于頻繁共現(xiàn)熵的樸素貝葉斯模型和向量空間模型，并把該模型應(yīng)用于跨語言網(wǎng)頁分類中，同時比較了其余其