基于新型坐標(biāo)樹的頁面分析和內(nèi)容提取框架.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和動(dòng)態(tài)網(wǎng)頁生成技術(shù)的成熟，網(wǎng)頁的數(shù)量呈爆炸性的增長。而為了商業(yè)上的考慮和網(wǎng)站的維護(hù)，很多網(wǎng)頁都充斥著很多重復(fù)性高且與網(wǎng)頁主題內(nèi)容無關(guān)的信息。例如：廣告、表單和版權(quán)聲明等。這些內(nèi)容充斥在每個(gè)網(wǎng)頁但是卻多半不是使用者想要的信息。而目前一般的搜索引擎無法辨別這些不相關(guān)的部分，便索引網(wǎng)頁所有部分，這不但會(huì)使得索引檔案巨大而不易管理，也會(huì)使搜索結(jié)果產(chǎn)生偏差。另外，當(dāng)使用者利用小型顯示裝置，如：掌上電腦(PDA)，手機(jī)等，瀏覽網(wǎng)頁時(shí)

2、，也必須經(jīng)過多次的滾動(dòng)頁面和找尋才能得到想要的信息。所以，在論文中我們提出了一種網(wǎng)頁結(jié)構(gòu)分析和內(nèi)容提取系統(tǒng)來獲得網(wǎng)頁中真正有信息的部分，以提高基于網(wǎng)頁內(nèi)容的應(yīng)用系統(tǒng)的服務(wù)質(zhì)量。 針對(duì)HTML的半結(jié)構(gòu)化特征和DOM缺乏位置信息和空間關(guān)系描述的不足，本文提出了一種新型的Web頁面分析和內(nèi)容提取框架，該框架既包括一種新型的含有位置信息的頁面坐標(biāo)樹模型，還包括能反映空間關(guān)系的Graph模型。通過將HTML文檔轉(zhuǎn)換為坐標(biāo)樹，并結(jié)合位置特征

3、和空間關(guān)系可對(duì)網(wǎng)頁進(jìn)行分析和提取內(nèi)容。 對(duì)來自120個(gè)網(wǎng)站的5000個(gè)網(wǎng)頁進(jìn)行測試后的結(jié)果表明該方法可達(dá)到93．87％的準(zhǔn)確率，并且對(duì)相關(guān)連接和相關(guān)圖片的抽取有較高的準(zhǔn)確率和召回率。這表明我們的方法可以很有效的提取出網(wǎng)頁的主題內(nèi)容，這對(duì)基于網(wǎng)頁內(nèi)容的應(yīng)用系統(tǒng)和基于網(wǎng)頁超鏈指向的應(yīng)用系統(tǒng)都有很大幫助。 在本文的最后我們提出了一種基于決策支持向量機(jī)的網(wǎng)頁自動(dòng)分類系統(tǒng)，并將我們的主題內(nèi)容提取方法應(yīng)用到該系統(tǒng)，實(shí)驗(yàn)表明主題提取提