基于標(biāo)簽分析的網(wǎng)頁正文提取技術(shù)研究.pdf

1、本文通過分析新浪、搜狐、網(wǎng)易、騰訊、百度、中國新聞網(wǎng)、中華網(wǎng)、21CN網(wǎng)這八大網(wǎng)站中的噪音數(shù)據(jù)特點和它所產(chǎn)生的影響，并利用HTML的結(jié)構(gòu)特征，提出了一種基于區(qū)域分塊的HTML元素刪除法和內(nèi)嵌式元素提取法,可用于網(wǎng)頁正文的自動提取。當(dāng)然，這兩種方法對于XHTML和XML也是可行的。為簡便起見，本文在下面的全部內(nèi)容中，將省略對XHTML和XML的重復(fù)說明。
　　 本文的研究內(nèi)容及成果如下：
　　 ①在分析網(wǎng)頁中與網(wǎng)頁正文內(nèi)容

2、相關(guān)和無關(guān)的文字鏈接和圖像鏈接的基礎(chǔ)上，結(jié)合HTML標(biāo)簽及其內(nèi)容，提出了與網(wǎng)頁正文內(nèi)容無關(guān)的鏈接判斷模型。
　　 ②本文綜合分析了大量的新聞網(wǎng)頁中圖像標(biāo)簽的特點，在統(tǒng)計的基礎(chǔ)上得出了與網(wǎng)頁正文內(nèi)容相關(guān)和無關(guān)圖像的較準(zhǔn)確范圍。
　　 ③分析傳統(tǒng)的DOM樹、靜態(tài)正則表達式等提取網(wǎng)頁正文的技術(shù)之后，本文提出了區(qū)域分塊的概念、確定網(wǎng)頁正文標(biāo)題位置的相似率，并在此基礎(chǔ)上，進一步提出了基于區(qū)域分塊的HTML標(biāo)簽的提取網(wǎng)頁正文內(nèi)容的兩

3、種方法：基于區(qū)域分塊的HTML元素刪除法和元素內(nèi)嵌式提取法。
　　 ④采用八大網(wǎng)站的新聞網(wǎng)頁作為測試集，針對本文提出的兩種網(wǎng)頁正文提取方法，做了相應(yīng)的測試。將本文中的兩種網(wǎng)頁正文提取方法和傳統(tǒng)的方法做了比較，結(jié)果表明，文中的兩種方法都能比傳統(tǒng)方法更好地實現(xiàn)網(wǎng)頁正文內(nèi)容提取。
　　 綜上所述：本文提出的區(qū)域分塊的HTML元素內(nèi)嵌式提取法和區(qū)域分塊的元素刪除法，在維持網(wǎng)頁結(jié)構(gòu)和內(nèi)容不變的情況下，能夠較準(zhǔn)確地提取出HTML文檔