半結構化文本中的表格信息抽取技術的研究.pdf

1、表格作為網(wǎng)頁的一部分，它簡單，容易使用，是一個非常常見的表示圖解，而且表格里面蘊含豐富的信息，所以它對信息抽取，數(shù)據(jù)挖掘等領域具有很大的吸引力。表格里面的內容可以為我們提供了豐富的信息，是一個寶貴的知識來源，因此從表格中抽取信息是一個很值得研究的課題。
　　本文通過分析半結構化表格的布局和內容方面的特性，發(fā)現(xiàn)了表格的特征，提出了用最大熵方法進行訓練。為了提高訓練的精度，本文在選取特征的時候，考慮到了表格的跨多行、跨多列等的布局特征

2、。本文把半結構化文本中的表格信息抽取技術研究分為兩個部分：第一個部分是表格的識別工作，第二個部分是表格信息抽取工作。
　　第一部分的表格識別研究，由于目前的啟發(fā)式規(guī)則的方法取得的F度量不是太高，決策樹方法比啟發(fā)式規(guī)則的方法取得的F度量高，并且目前的表格識別研究沒有用最大熵模型的。基于這兩種原因，所以本文提出了用最大熵模型來進行表格識別，并和目前研究的F度量比較高的決策樹方法進行比較，比較的時候選用了相同的語料庫和特征。在運用最大熵

3、模型訓練選取特征的時候，本文分析了表格的布局特征與內容特征，發(fā)現(xiàn)內容特征比布局特征更能反映出表格的特性。本文把布局特征和內容特征結合起來作為表格的特征，利用多個專業(yè)領域的網(wǎng)頁作為語料庫進行訓練，通過多次的迭代試驗，證明了最大熵方法能夠很好的解決表格識別問題，對表格識別的F度量能夠達到91.31％，超過了決策樹方法（F度量為87.87%）。試驗驗證了最大熵在處理大訓練語料庫的時候比決策樹方法有優(yōu)勢，主要是因為決策樹分類算法缺乏伸縮性，進行

4、深度優(yōu)先搜索時，受內存大小限制。
　　第二個部分的表格信息提取研究，本文提出了用HTML Tidy工具來解決網(wǎng)頁源代碼中存在的很多不規(guī)范問題，比如丟失標簽，標簽順序混亂等等。對于表格的內容抽取，本文簡單介紹了基于Wrapper的提取方法和基于Dom的提取方法，因為Dom方法更適合于提取結構化的信息，而表格里面的內容恰好具有“屬性-值”這樣的結構化特性，所以在表格信抽取系統(tǒng)中，本文采用了基于Dom的抽取方法來提取表格內容。系統(tǒng)中，本