基于熱點網(wǎng)站內(nèi)容分析的超鏈接提取研究.pdf

1、互聯(lián)網(wǎng)上的信息十分廣泛,而這里面有許多是人們關(guān)心的熱點信息,這些熱點網(wǎng)站上的內(nèi)容,代表了互聯(lián)網(wǎng)信息最受關(guān)注的部分,本文的目的就是對NBA熱點網(wǎng)站內(nèi)容進行分析,解析其中的超鏈接以及對應(yīng)的正文信息,然后再通過URL與正文反饋網(wǎng)站的熱度。
　　 本文首先介紹了網(wǎng)頁信息提取技術(shù)概述及發(fā)展歷史和現(xiàn)狀,分析了網(wǎng)頁信息提取技術(shù)分類和常用算法,對網(wǎng)頁信息提取技術(shù)進行了相關(guān)闡述。其次,對熱點網(wǎng)站頁面內(nèi)容特點進行了分析,主要包括熱點網(wǎng)站及熱點網(wǎng)站體

2、育NBA特點、搜狐與網(wǎng)易NBA頁面特點及比較、從網(wǎng)頁語言特點分析熱點網(wǎng)站、熱點內(nèi)容分析與內(nèi)部關(guān)系等。通過對比,總結(jié)出NBA類熱點網(wǎng)站內(nèi)容的特點,而這些特點非常適合通過一些HTML解析器來分析處理。通過對比主流HTML解析器的特點,闡述了HTML Parser在解析熱點網(wǎng)頁上的優(yōu)勢,通過對熱點網(wǎng)頁采集的實現(xiàn),進一步驗證了網(wǎng)頁的內(nèi)部組成結(jié)構(gòu)及其構(gòu)成特點等,提出了一種基于HTML Parser。的熱點雙反饋URL及正文提取策略:首先通過HTM

3、L Parser提取網(wǎng)頁的URL,然后從URL中提取正文,通過提取的正文反饋URL的熱度,再通過URL反饋整個網(wǎng)頁的熱度。
　　 最后,本文實現(xiàn)了基于HTML Parser的網(wǎng)站超鏈接信息提取。論文中主要介紹了利用兩種算法實現(xiàn)熱點網(wǎng)站超鏈接及正文文本信息的提取。系統(tǒng)運行結(jié)果及有效性評價主要通過查詢搜狐體育NBA和網(wǎng)易體育NBA提取的結(jié)果,測試準確率和召回率兩個性能指標,比較兩個熱點網(wǎng)站的鏈接提取效果,并通過URL與正文信息反饋網(wǎng)