基于標(biāo)簽識別的網(wǎng)頁源代碼分析與內(nèi)容提取應(yīng)用技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)和計(jì)算機(jī)的的普及與發(fā)展，互聯(lián)網(wǎng)出現(xiàn)了紛繁復(fù)雜的信息源，這些信息源主要以 HTML（以及 XHTML或 XML）網(wǎng)頁形式存儲(chǔ)。通常情況下，這些頁面中經(jīng)常夾雜著大量用戶不感興趣的內(nèi)容，如推薦鏈接和宣傳視圖等，這些噪音數(shù)據(jù)不但會(huì)使用戶閱讀效率降低還會(huì)嚴(yán)重影響搜索引擎查找和網(wǎng)頁的資源挖掘的精確度。本文通過分析超鏈接與網(wǎng)頁正文的結(jié)構(gòu)特點(diǎn)，基于HTML（包括XHTML和 XML）區(qū)域分塊原則，將 HTML中的無關(guān)元素（即，噪音）做刪除處理

2、并直接提取HTML源代碼中的正文部分。在進(jìn)行刪除超鏈接部分時(shí)，必須考慮該超鏈接與上下文之間的語義關(guān)系，以此達(dá)到保持源網(wǎng)頁中正文部分內(nèi)容與結(jié)構(gòu)的完整，以此來消除由于盲目刪除全文中超鏈接所帶來的全文缺失問題。
　　本文的研究內(nèi)容及成果如下：
　?。?）用Python抓取大量的網(wǎng)頁，提取其中的文字標(biāo)簽和圖像標(biāo)簽，綜合分析標(biāo)簽的特點(diǎn)，在統(tǒng)計(jì)的基礎(chǔ)上劃定HTML網(wǎng)頁中與正文相關(guān)的內(nèi)容和不相關(guān)的內(nèi)容（如圖像鏈接）的界限。
　?。?

3、）在分析HTML網(wǎng)頁中與正文相關(guān)的內(nèi)容和與正文不相關(guān)的內(nèi)容的基礎(chǔ)上，提出了HTML中的正文文字與圖像鏈接判定方法。
　?。?）基于上述方法提出區(qū)域分塊的HTML(XHTML或 XML)元素刪除法和元素嵌入式篩選法來提取 HTML正文。并在此基礎(chǔ)上，使用 Python語言來建立模型并實(shí)行優(yōu)化，完成對網(wǎng)頁主題內(nèi)容的提取工作。
　?。?）通過Python語言將上述方法、原理加以實(shí)現(xiàn)。分別做了三組實(shí)驗(yàn)，用于對比文本正文提取和 scr