網(wǎng)頁(yè)分類與信息采集方法研究.pdf

1、網(wǎng)頁(yè)分類與信息采集系統(tǒng)中包含了網(wǎng)頁(yè)爬取、網(wǎng)頁(yè)識(shí)別和文本采集，其中傳統(tǒng)的依靠人工進(jìn)行網(wǎng)頁(yè)識(shí)別的方式在網(wǎng)頁(yè)信息容量快速增長(zhǎng)的條件下是不合理的。同時(shí)，Web頁(yè)面中包含的大量的噪聲信息為網(wǎng)頁(yè)文本采集增加了難度，現(xiàn)有的文本采集技術(shù)具有人工維護(hù)成本大、準(zhǔn)確率不高和通用性不強(qiáng)的缺點(diǎn)。因此，網(wǎng)頁(yè)的自動(dòng)識(shí)別與文本采集研究成為一個(gè)重要的方向。它們與信息檢索、搜索引擎、網(wǎng)絡(luò)輿情和文本推薦等技術(shù)相結(jié)合，為信息的獲取提供了便利。
　　本文研究?jī)?nèi)容主要有以下

2、幾個(gè)方面：
　?。?）根據(jù)網(wǎng)頁(yè)分類與信息采集系統(tǒng)的要求，提出基于Web結(jié)構(gòu)特征挖掘的網(wǎng)頁(yè)類型自動(dòng)識(shí)別方法。該方法的研究重點(diǎn)是特征的選取，在了解網(wǎng)頁(yè)特征挖掘的基礎(chǔ)上，研究了不同網(wǎng)頁(yè)在結(jié)構(gòu)上的相異的地方，抽取出能夠表征網(wǎng)頁(yè)的特征集，采用經(jīng)典的分類算法（決策樹(shù)）構(gòu)建分類器，從而達(dá)到中文網(wǎng)頁(yè)自動(dòng)識(shí)別的目的。
　?。?）在文本采集自動(dòng)化的要求下，提出一種基于HTML標(biāo)簽特征挖掘的BBS網(wǎng)頁(yè)文本提取方法，即文本塊抽取。其中心思想是基于以

3、下特點(diǎn)：網(wǎng)頁(yè)文檔的樹(shù)型結(jié)構(gòu)、多文本中心性、標(biāo)簽元素的層次性等等。在此基礎(chǔ)上，提出了基于智能模板的BBS網(wǎng)頁(yè)文本提取方法，主要思想是通過(guò)基于HTML標(biāo)簽特征挖掘的BBS網(wǎng)頁(yè)文本提取方法找到所需的多文本塊的公共信息，然后自動(dòng)配置該網(wǎng)站對(duì)應(yīng)的文本解析模板，最后采用該模板進(jìn)行網(wǎng)頁(yè)文本的解析。
　?。?）搭建網(wǎng)頁(yè)分類與信息采集系統(tǒng)。本文系統(tǒng)包含了網(wǎng)頁(yè)抓取、網(wǎng)頁(yè)識(shí)別、網(wǎng)頁(yè)文本抽取和UI部分。其中網(wǎng)頁(yè)抓取部分采用通用的抓取技術(shù)和流程，目標(biāo)是對(duì)全