Web頁中表格結(jié)構(gòu)識別的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)的普及以及互聯(lián)網(wǎng)(WWW)的迅猛發(fā)展，大量的數(shù)據(jù)以電子文檔的形式出現(xiàn)在人們面前。而表格作為一種簡潔有效的數(shù)據(jù)信息表達(dá)方式，在各種領(lǐng)域的Web頁中都用得十分廣泛。據(jù)統(tǒng)計(jì)，約有52％的Web頁面包含表格。因此，從Web表格中抽取信息就成為Web信息抽取領(lǐng)域重要的課題之一。 Web表格信息抽取技術(shù)提出于上世紀(jì)九十年代，至今仍處于探索階段。從當(dāng)前的研究技術(shù)上看，主要有基于包裝器(Wrapper)和基于結(jié)構(gòu)識別兩種方式。前者是傳

2、統(tǒng)的信息抽取方法，對頁面結(jié)構(gòu)的依賴性強(qiáng)，可重用性差；而后者則是本文研究的重點(diǎn)。本文旨在希望通過研究一種具有空間適應(yīng)性和領(lǐng)域獨(dú)立性的表格結(jié)構(gòu)識別技術(shù)，使應(yīng)用程序能夠達(dá)到理解表格的目的，從而將其應(yīng)用在Web表格信息抽取領(lǐng)域。 本文對Web表格的結(jié)構(gòu)識別工作分兩步進(jìn)行。首先從紛繁復(fù)雜的Web頁面中濾去那些用于控制頁面結(jié)構(gòu)而不是表達(dá)有效數(shù)據(jù)信息的“假表格”。本文通過大量的觀察，提取出識別真假表格的特征信息，形成啟發(fā)式規(guī)則；在此基礎(chǔ)上設(shè)計(jì)

3、并實(shí)現(xiàn)一系列算法；最后通過傳統(tǒng)的信息抽取指標(biāo)——召回率、準(zhǔn)確率和F指數(shù)來衡量識別結(jié)果。實(shí)驗(yàn)顯示，本文的算法有較強(qiáng)的表格定位能力。 表格定位輸出后，本文第二步對表格的內(nèi)部結(jié)構(gòu)識別進(jìn)行了深入的分析。識別表格結(jié)構(gòu)的關(guān)鍵在于從不同類型的表格中提取出一種抽象的邏輯表格模型。本文提出了一種表格分析的層次模型，在該模型指導(dǎo)下，逐步生成物理內(nèi)存表格、抽象邏輯表格以及功能性表格。 物理內(nèi)存表格主要探討表格在內(nèi)存中的存儲結(jié)構(gòu)以及從DOM樹向