基于DOM樹(shù)的正文抽取算法研究.pdf

1、正文抽取是通過(guò)相關(guān)的技術(shù)或者算法從網(wǎng)頁(yè)中獲取網(wǎng)頁(yè)核心內(nèi)容或者主題內(nèi)容的過(guò)程。隨著互聯(lián)網(wǎng)的快速發(fā)展，Web數(shù)據(jù)不斷增加。在海量的數(shù)據(jù)中，如何通過(guò)正文抽取剔除掉與正文內(nèi)容不相關(guān)的信息，得到“干凈”的正文信息，在輿情監(jiān)測(cè)、新聞追蹤、情感分析、文本分類等領(lǐng)域都有著重要的意義。
　　隨著網(wǎng)頁(yè)技術(shù)的日益更新，正文抽取的挑戰(zhàn)越來(lái)越大，主要面臨的挑戰(zhàn)如下：
　?。?）網(wǎng)頁(yè)的數(shù)據(jù)量較大；
　?。?）網(wǎng)站的結(jié)構(gòu)和布局通常不同；
　　

2、（3）網(wǎng)站板式的動(dòng)態(tài)變化性；
　?。?）網(wǎng)頁(yè)噪音數(shù)據(jù)的多樣化。現(xiàn)有的正文抽取方法，例如CETR和CETD，在一定程度上實(shí)現(xiàn)了正文抽取，但是在對(duì)網(wǎng)頁(yè)正文抽取準(zhǔn)確率和通用性方面還有待提高。針對(duì)上述問(wèn)題，本文通過(guò)分析觀察正文和噪音的特點(diǎn)、網(wǎng)頁(yè)結(jié)構(gòu)、關(guān)鍵詞和正文的關(guān)系，在基于DOM樹(shù)的基礎(chǔ)上，主要研究?jī)?nèi)容如下：
　　1.提出了基于文本特征值的正文抽取算法。該算法通過(guò)遍歷DOM樹(shù)，計(jì)算DOM樹(shù)節(jié)點(diǎn)下的文本長(zhǎng)度和標(biāo)點(diǎn)符號(hào)的權(quán)重，同時(shí)引入

3、標(biāo)準(zhǔn)差來(lái)區(qū)分正文內(nèi)容和噪音內(nèi)容。為了解決短文本的抽取問(wèn)題，該算法又引入了高斯平滑，對(duì)文本特征值進(jìn)行平滑處理，降低了相鄰節(jié)點(diǎn)間文本特征值的突變性，防止特殊正文節(jié)點(diǎn)因特征值太低而丟失的情況。在實(shí)驗(yàn)中，選取了10個(gè)主流新聞網(wǎng)站中近千個(gè)網(wǎng)頁(yè)進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明，文本特征值算法在正文抽取方面具有較好的抽取效果和通用性，其在準(zhǔn)確率方面達(dá)到了0.9353，召回率為0.9949，F(xiàn)值為0.9585。
　　2.提出了一種基于關(guān)鍵詞匹配的正文抽取算

4、法。該算法首先通過(guò)網(wǎng)頁(yè)源代碼Keywords標(biāo)簽中的內(nèi)容或者網(wǎng)頁(yè)的標(biāo)題建立關(guān)鍵詞標(biāo)準(zhǔn)庫(kù)；然后將進(jìn)行預(yù)處理后的網(wǎng)頁(yè)構(gòu)建相應(yīng)的DOM樹(shù)，通過(guò)層次遍歷DOM樹(shù)，統(tǒng)計(jì)節(jié)點(diǎn)包含有效關(guān)鍵詞的數(shù)量；最后通過(guò)構(gòu)建關(guān)鍵詞權(quán)重公式計(jì)算節(jié)點(diǎn)的關(guān)鍵詞權(quán)重值，和閾值比較后找出包含正文的節(jié)點(diǎn)，準(zhǔn)確實(shí)現(xiàn)對(duì)正文的抽取。在實(shí)驗(yàn)中，同樣選取10個(gè)主流新聞網(wǎng)站中近千個(gè)網(wǎng)頁(yè)進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明，關(guān)鍵詞匹配算法通過(guò)統(tǒng)計(jì)有效關(guān)鍵詞尋找正文節(jié)點(diǎn)進(jìn)行正文抽取，算法原理和文本長(zhǎng)度無(wú)關(guān)