半監(jiān)督網(wǎng)頁(yè)分類及其在目錄式搜索引擎中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)信息的迅猛發(fā)展，包括目錄式搜索引擎在內(nèi)的搜索引擎已成為信息檢索的重要工具之一，正成為計(jì)算機(jī)工業(yè)界和學(xué)術(shù)界爭(zhēng)相研究和開(kāi)發(fā)的對(duì)象。然而，目錄式搜索引擎需要人工介入，依靠編輯員來(lái)實(shí)現(xiàn)目錄式搜索引擎中所需要完成的網(wǎng)頁(yè)自動(dòng)分類，導(dǎo)致出現(xiàn)了訓(xùn)練效率低、信息量少和信息更新不及時(shí)等缺陷。另外，在目錄式搜索引擎所搜索的網(wǎng)頁(yè)信息中，存在著大量的無(wú)標(biāo)簽樣本和少量的有標(biāo)簽樣本，因此，如何利用這些樣本來(lái)構(gòu)建分類器已成為網(wǎng)頁(yè)自動(dòng)分類研究中一個(gè)關(guān)鍵問(wèn)題，研究

2、目錄式搜索引擎中網(wǎng)頁(yè)的半監(jiān)督自動(dòng)分類具有較高的學(xué)術(shù)價(jià)值和十分重要的現(xiàn)實(shí)意義。 論文分析了半監(jiān)督網(wǎng)頁(yè)分類技術(shù)的優(yōu)缺點(diǎn)以及國(guó)內(nèi)外研究現(xiàn)狀，介紹了論文的研究目的和意義，針對(duì)網(wǎng)頁(yè)分類中數(shù)據(jù)集偏斜以及TSVM方法無(wú)法確定無(wú)標(biāo)簽樣本中類別比例等問(wèn)題，結(jié)合數(shù)據(jù)融合理論和模糊聚類思想，提出了一種基于模糊聚類的半監(jiān)督網(wǎng)頁(yè)分類方法。 論文主要工作包括以下幾個(gè)方面： 1．系統(tǒng)回顧了傳統(tǒng)文本特征提取方法，分析并實(shí)現(xiàn)了幾種典型的特征提取方

3、法。 2．針對(duì)所提取的Web文本特征容易出現(xiàn)數(shù)據(jù)集偏移和維數(shù)過(guò)高等問(wèn)題，結(jié)合數(shù)據(jù)融合思想，提出一種基于自適應(yīng)數(shù)據(jù)融合的Web文本特征提取方法。 3．針對(duì)TSVM分類方法無(wú)法確定無(wú)標(biāo)簽樣本中的類別比例等問(wèn)題，深入研究模糊聚類思想，將該思想運(yùn)用到TSVM方法中，提出一種基于模糊聚類的半監(jiān)督分類方法FC_TSVM，并將網(wǎng)頁(yè)超鏈接信息作為網(wǎng)頁(yè)分類的一個(gè)重要依據(jù)。 4．設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于半監(jiān)督網(wǎng)頁(yè)分類的目錄式搜索引擎原型