Web頁面鏈接文本信息抽取與分類的研究.pdf

1、 本文分析和利用超鏈接信息，即利用對鏈接文本和標(biāo)題、所指向網(wǎng)頁內(nèi)容分析來對該鏈接文本(亦即對鏈接所指向的網(wǎng)頁)進(jìn)行分類并進(jìn)行錯標(biāo)、漏標(biāo)識別。本文首要提出網(wǎng)頁中的鏈接文本與相關(guān)鏈接。并過濾掉無用的導(dǎo)航、廣告等無用鏈接。為此，本論文分別針對鏈接文本和相關(guān)鏈接提出不同的準(zhǔn)確高效算法策略。對鏈接文本、相關(guān)鏈接分類涉及到關(guān)鍵詞表的建立、未登陸詞識別、與標(biāo)題的相關(guān)度計算、特征句的提取還有分類體系的建立和鏈接漏標(biāo)、錯標(biāo)識別。針對中文網(wǎng)頁的特點(diǎn)和

2、網(wǎng)頁分析過程中的對特征詞分類的要求，提出了針對Web文檔的改進(jìn)的TF-IDF算法，可以更有效的提取關(guān)鍵詞表。對于未登錄詞的識別，本文提出可以從詞的結(jié)構(gòu)特點(diǎn)和特征詞之間的二元關(guān)系兩個方面來輔助識別未登錄詞，并取得了較好的實(shí)驗(yàn)效果。鏈接與標(biāo)題之間的相關(guān)度我們用向量空間模型表示。另外，本文通過實(shí)驗(yàn)結(jié)果表明所找到的特征句和從句子中提取出的信息能夠大大的補(bǔ)充僅僅分析網(wǎng)頁標(biāo)題和鏈接標(biāo)題的不足。在特征詞表建立和特征信息表示中，本文引入等價、從屬和同屬