基于綜合特征空間的Blog網(wǎng)頁識(shí)別方法研究.pdf

1、Blog的影響日益擴(kuò)大，其信息量迅速增長，并已通過頻繁的鏈接和交互在互聯(lián)網(wǎng)上構(gòu)建起了一個(gè)動(dòng)態(tài)且緊密的虛擬網(wǎng)絡(luò)，該虛擬網(wǎng)絡(luò)已與現(xiàn)實(shí)社會(huì)相互影響、密不可分，成為現(xiàn)實(shí)社會(huì)一個(gè)重要的信息來源。然而，面對(duì)Web領(lǐng)域中海量的電子信息，人工進(jìn)行檢索、分析、識(shí)別是不可想象的，因此要想對(duì)Blog開展研究工作，首先必須通過自動(dòng)識(shí)別將Blog信息從浩如煙海的網(wǎng)絡(luò)信息中區(qū)分出來，這一步是整個(gè)Blog研究領(lǐng)域的必由之路。 近幾年來，盡管針對(duì)Blog網(wǎng)頁識(shí)

2、別領(lǐng)域開展的研究工作逐漸增多，然而由于Blog領(lǐng)域自身的特殊性和復(fù)雜性，直接利用文本分類的相關(guān)技術(shù)或在其基礎(chǔ)上簡單修改移植后的應(yīng)用效果并不令人滿意。當(dāng)今社會(huì)迫切需要高效便捷的Blog網(wǎng)頁識(shí)別技術(shù)，在這一背景下，本文開展了對(duì)Blog網(wǎng)頁識(shí)別方法的研究工作。 本文研究了與Blog網(wǎng)頁識(shí)別相關(guān)的各種方法和技術(shù)，并在此基礎(chǔ)上提出了基于綜合特征空間的Blog網(wǎng)頁識(shí)別方法。本文所做的工作主要有以下幾個(gè)方面： (1)研究了網(wǎng)頁特征信息

3、抽取的方法，分析了網(wǎng)頁獲取、清洗、解析和信息抽取的整個(gè)過程，提出了Blog綜合特征空間的概念，并且詳細(xì)論述了該空間中三大類共五種Blog特征的概念、定義和抽取方法。 (2)研究了網(wǎng)頁的形式化表示方法，分析了特征項(xiàng)的提取、選擇和權(quán)重計(jì)算的整個(gè)過程，在此基礎(chǔ)上設(shè)計(jì)了基于標(biāo)簽信息的TF-IDF算法以及標(biāo)簽權(quán)重調(diào)整方案。隨后，提出了網(wǎng)頁文本內(nèi)容特征的形式化表示方法和頁面布局特征的形式化表示方法，并詳細(xì)的闡述了兩種形式化特征的概念、定義和