基于節(jié)點(diǎn)類型標(biāo)注的網(wǎng)頁(yè)主題信息提取技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)頁(yè)數(shù)量呈爆炸性增長(zhǎng)。網(wǎng)頁(yè)中包含著豐富的內(nèi)容，既有用戶想要瀏覽的主題信息，也有對(duì)用戶形成干擾與主題無(wú)關(guān)的信息，如頁(yè)面導(dǎo)航條、推薦鏈接、廣告條、版權(quán)聲明等，后者通常被稱為網(wǎng)頁(yè)噪聲。網(wǎng)頁(yè)噪聲的存在給Web信息檢索帶來(lái)很大的難題，也對(duì)諸如網(wǎng)頁(yè)分類和聚類、知識(shí)挖掘、話題檢測(cè)、個(gè)性化信息推薦、數(shù)據(jù)挖掘等任務(wù)造成很大的影響。如果不將噪聲去除的話，信息檢索系統(tǒng)必然會(huì)得出很糟糕的檢索結(jié)果。因此，去除網(wǎng)頁(yè)噪聲，從網(wǎng)頁(yè)中抽取主題信息是

2、Web信息檢索的一個(gè)重要的基礎(chǔ)性工作。
　　在Web信息抽取領(lǐng)域，按照網(wǎng)頁(yè)主題信息抽取算法按照處理方式的不同，可以信息抽取方法分為三類：一、基于模板匹配的方法。這種方法主要基于網(wǎng)站中的頁(yè)面共享相同的模板，通過(guò)將網(wǎng)站的模板識(shí)別出來(lái)，然后利用模板對(duì)頁(yè)面進(jìn)行匹配以識(shí)別網(wǎng)頁(yè)主題信息。二、基于機(jī)器學(xué)習(xí)的方法。這種方法主要適用于大規(guī)模網(wǎng)頁(yè)數(shù)據(jù)集的處理，首先利用人工標(biāo)注的網(wǎng)頁(yè)數(shù)據(jù)訓(xùn)練出網(wǎng)頁(yè)主題信息分類模型，然后利用分類器來(lái)識(shí)別網(wǎng)頁(yè)中的主題和非主

3、題信息。三、基于啟發(fā)式規(guī)則的方法。這類方法，基于頁(yè)面中的一些視覺(jué)特征或結(jié)構(gòu)特征或內(nèi)容特征來(lái)構(gòu)建啟發(fā)式規(guī)則集合。
　　考慮到基于啟發(fā)式規(guī)則的信息抽取方法具有較高的算法效率，以及考慮VIPS算法存在的不足，本文結(jié)合對(duì)網(wǎng)頁(yè)噪聲特點(diǎn)以及網(wǎng)頁(yè)性質(zhì)的觀察和統(tǒng)計(jì)，提出了一種基于DOM節(jié)點(diǎn)類型標(biāo)注(Node Type Annotation)的主題信息抽取算法——NTA算法。首先依據(jù)網(wǎng)頁(yè)中噪聲存在的形式，定義了4種節(jié)點(diǎn)類型：文本型節(jié)點(diǎn)、鏈接型節(jié)點(diǎn)、

4、圖片型節(jié)點(diǎn)和可忽略型節(jié)點(diǎn)，并且定義了節(jié)點(diǎn)的內(nèi)聚度(DoC)用于反映節(jié)點(diǎn)內(nèi)容的一致性。通過(guò)計(jì)算 DOM結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)的內(nèi)容特征來(lái)確定節(jié)點(diǎn)類型以及節(jié)點(diǎn)的內(nèi)聚度，并給每個(gè)節(jié)點(diǎn)添加類型和內(nèi)聚度兩個(gè)屬性。在主題信息抽取階段，借助閾值以及節(jié)點(diǎn)文本密度來(lái)識(shí)別節(jié)點(diǎn)類型以及比較內(nèi)聚度來(lái)獲取所需的正文節(jié)點(diǎn)，并針對(duì)圖片和鏈接的篩選問(wèn)題作出相應(yīng)的特殊處理，最后整合得到網(wǎng)頁(yè)的主題信息。本文方法彌補(bǔ)了VIPS不能抽取網(wǎng)頁(yè)主題信息的不足并且具有較好的算法效率，方法不

5、依賴特定標(biāo)簽因而也具有更好的通用性。
　　最后，基于本文NTA算法開(kāi)發(fā)了一款網(wǎng)頁(yè)正文提取工具Web Clipper，從7大門戶網(wǎng)站選取了100多個(gè)新聞?lì)惥W(wǎng)頁(yè)進(jìn)行了測(cè)試，并且也與目前市面上的三款同類工具有道云剪報(bào)、印象筆記悅讀以及國(guó)外的Readability做了對(duì)比實(shí)驗(yàn)。初步實(shí)驗(yàn)結(jié)果顯示，本文所提出的算法的平均查全率為98.15％，平均查準(zhǔn)率為92.41%，NTA方法在F1指標(biāo)上為95.1%，比Evernote工具高出0.3%，比Y