基于視覺(jué)語(yǔ)義塊的網(wǎng)頁(yè)正文提取算法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，以及網(wǎng)絡(luò)信息的爆炸性增長(zhǎng)，網(wǎng)頁(yè)的數(shù)量也開(kāi)始了急劇增加，人們也越來(lái)越習(xí)慣于借助搜索引擎這一工具來(lái)從浩如煙海的互聯(lián)網(wǎng)上獲取自己所需要的信息。然而，通常情況下一張網(wǎng)頁(yè)并不僅僅包含了用戶所需的正文信息，它還通常還有其他各種非正文信息，如導(dǎo)航欄，廣告鏈接，推薦鏈接等，這類噪音信息的存在，給搜索引擎的效率和準(zhǔn)確率帶來(lái)了極大地干擾，因此，網(wǎng)頁(yè)正文提取技術(shù)也就成為了搜索引擎領(lǐng)域的一個(gè)重大課題。
　　 本文提出了一種基于

2、視覺(jué)語(yǔ)義塊的網(wǎng)頁(yè)正文提取算法，該算法擺脫了現(xiàn)有主流正文提取算法對(duì)于網(wǎng)頁(yè)文本的依賴性，而是從用戶視覺(jué)角度出發(fā)，將網(wǎng)頁(yè)根據(jù)語(yǔ)義特征分割為一個(gè)個(gè)語(yǔ)義塊，然后尋找其中面積最大的語(yǔ)義塊，再進(jìn)而尋找與之結(jié)構(gòu)類似的語(yǔ)義塊，通過(guò)不斷循環(huán)查找，最后提取出網(wǎng)頁(yè)的正文信息。一方面，由于該算法并不依賴于網(wǎng)頁(yè)文本分布密度，在一些噪音信息同樣含有大量文本的網(wǎng)頁(yè)中也能取得很好的效果，而且還能將正文信息中包含的圖片、視頻等也一并提取出來(lái)，因而提高了算法的健壯性;另一方

3、面，該算法在處理DOM樹(shù)的過(guò)程中，并不需要遍歷整棵DOM樹(shù)來(lái)查找目標(biāo)信息，而只需要對(duì)DOM樹(shù)的葉子結(jié)點(diǎn)進(jìn)行處理，從而節(jié)省了查找時(shí)間，大大提高了正文提取的效率。
　　 本文通過(guò)對(duì)15個(gè)門戶網(wǎng)站的300個(gè)網(wǎng)頁(yè)進(jìn)行了實(shí)驗(yàn)分析，其中包含了新聞、博客、論壇、BBS等各類主題性網(wǎng)頁(yè)。實(shí)驗(yàn)結(jié)果表明，本文的基于視覺(jué)語(yǔ)義塊的網(wǎng)頁(yè)正文提取算法基本可以達(dá)到94％以上的提取準(zhǔn)確率和召回率。而且由于算法角度的不同，該算法還可以與其他傳統(tǒng)基于網(wǎng)頁(yè)文本的算法