Web表格數(shù)據(jù)提取與分析系統(tǒng)的設計與實現(xiàn).pdf

1、數(shù)據(jù)表格作為網(wǎng)頁數(shù)據(jù)展示的一種形式，開始越來越多的出現(xiàn)在各種領域的web頁面中，因其具有簡潔的展示方式以及顯而易見地描述數(shù)據(jù)關系的優(yōu)勢而被越來越多的人應用到網(wǎng)頁中并成為Web信息抽取中的熱點。然而人們往往忽略表格數(shù)據(jù)自有的不足，通常表頭（下文稱屬性名）決定一切，而現(xiàn)實中，Web上的表格經(jīng)常出現(xiàn)無屬性名或屬性名難以理解的情況。因此，在自動分析修復表格的表頭信息方面的研究將在Web挖掘、數(shù)據(jù)理解及決策支持方面提供極大的幫助，同時也將會被越來

2、越多的研究者重視。
　　論文開始講述了本課題的研究背景、目的、意義及相關領域的研究現(xiàn)狀，并對本文的主要研究內容進行了闡述。之后詳細描述了本課題的需求分析、系統(tǒng)的總體設計、系統(tǒng)各功能模塊的詳細設計與實現(xiàn)及系統(tǒng)的功能測試與非功能性測試，最后對本文進行了總結及展望。
　　本文的主要研究內容主要有以下三個方面：Web表格數(shù)據(jù)提取與存儲、表格數(shù)據(jù)分析和屬性名自動標注。Web表格數(shù)據(jù)提取主要實現(xiàn)了對HTML網(wǎng)頁的解析、數(shù)據(jù)表格的識別和表

3、格內數(shù)據(jù)的提取存儲等功能。表格數(shù)據(jù)分析主要實現(xiàn)對數(shù)據(jù)的深度分析，由于不同類型的數(shù)據(jù)具有不同的特征，因此首先對表格數(shù)據(jù)進行簡單分類，不同類型的數(shù)據(jù)運用不同的處理方法提取特定的特征。本文以數(shù)據(jù)的結構特征與統(tǒng)計特征作為研究對象，分別利用正則表達式表示數(shù)據(jù)的結構特征，利用統(tǒng)計分布均值和方差兩個參數(shù)表示數(shù)據(jù)的統(tǒng)計特征，并利用大量訓練數(shù)據(jù)建立“屬性名-特征值”特征庫。在屬性名自動標注的研究中，主要完成對特定數(shù)據(jù)列匹配屬性名。本文針對不同數(shù)據(jù)特征提出

4、了不同的特征匹配策略并建立匹配模型，對于正則表達式表示的結構特征，運用編輯距離算法進行表達式串相似性比較，同時結合簡單字符串匹配提高準確性；對于統(tǒng)計分布參數(shù)表示的統(tǒng)計特征則利用假設檢驗知識中的樣本均值的檢驗方法比較兩樣本間的差異性。最后對于匹配出的候選屬性名進行優(yōu)化，得到最佳屬性名。
　　本文實驗環(huán)節(jié)通過利用實驗室現(xiàn)有的大量表格數(shù)據(jù)建立特征庫，利用交叉驗證的方式優(yōu)化匹配模型參數(shù)（閥值和檢驗水平），通過多次迭代試驗，證明了綜合運用正