面向信息抽取的Web頁面結(jié)構(gòu)挖掘技術(shù)研究.pdf

1、信息抽取是解決從海量Web頁面中提取有價值的信息和知識的重要技術(shù)手段，而頁面結(jié)構(gòu)特征的挖掘和提取是信息抽取過程的關(guān)鍵步驟。然而，已有的頁面結(jié)構(gòu)挖掘方法大多數(shù)依賴于啟發(fā)式規(guī)則和人工標注，這對于海量、異構(gòu)的Web頁面來說，不管是效率還是可擴展性都難以滿足實際應(yīng)用的要求。因此，信息抽取應(yīng)用的發(fā)展迫切要求更智能化、自動化的頁面結(jié)構(gòu)挖掘技術(shù)。
　　基于以上背景，針對Web頁面結(jié)構(gòu)挖掘中的兩個關(guān)鍵技術(shù)——頁面聚類和頁面分塊技術(shù)，本文進行了深入

2、分析和研究，指出了現(xiàn)有方法對標簽的理解基本上都停留在啟發(fā)式規(guī)則的層次上這一問題。針對該問題提出了基于統(tǒng)計信息的標簽向量，作為本文的頁面聚類算法和頁面分塊算法的技術(shù)基礎(chǔ)。本文取得了以下一些研究成果：
　　1.基于矩陣結(jié)構(gòu)的頁面聚類算法：即MSPC(MatrixStructureBasedPageClustering)算法。MSPC算法把所有頁面表示成為統(tǒng)一大小的矩陣，它的時間復雜度僅受排序算法的影響。本文不僅從理論上證明了MSPC是

3、個快速的算法，同時在實驗中也證明了MSPC算法相較于具有相同復雜度的頁面聚類算法具有更好的聚類效果。
　　2.基于統(tǒng)計信息的頁面分塊算法：即GSPS(GraphandStatisticBasedPageSegment)算法。GSPS算法摒棄啟發(fā)式和標注等一系列有人工參與的半監(jiān)督或全監(jiān)督的方法，結(jié)合標簽的統(tǒng)計信息和圖分割算法(GN算法)實現(xiàn)無監(jiān)督的非啟發(fā)式的頁面分割算法。在實驗中證明GSPS能得到很好的分割效果，從整體上與VIPS算