Web內容抽取及語義識別算法研究.pdf

1、隨著Internet的發(fā)展，互聯(lián)網作為一個功能強大的網絡媒體，它實際上是一個雙刃劍，它在作正面的媒體宣傳和導向時，也難免被敵對勢力所利用。因此，基于網頁內容的信息安全技術研究已經成為信息安全的一個重要分支。而基于內容的信息安全的具體實現(xiàn)中最有效的就是文本分類，快速而準確地識別網頁主題內容是提高分類準確度的關鍵技術之一。本文就Web頁面結構分析和主題內容提取以及對抽出文本的平面分類進行了研究。 首先，本文介紹了Web網頁的特點和H

2、TML語言以及DOM(DocumentObjectModel)樹的特點和應用。其次，文中介紹了相關研究工作，對比分析了幾種Web頁面結構分析和主題內容提取的方法，并在此基礎上提出了自己的兩種方法，分別是基于統(tǒng)計的主題內容提取方法和基于新型坐標樹的主題內容提取方法?；诮y(tǒng)計的方法是一種簡單而有效的方法，它從本質上抓住了網頁的設計特征和HTML源代碼的特征，通用性高。實驗表明該方法切實可行，具有較高的準確率。但該方法只對主題文字內容有效，對

3、相關連接和相關圖片等多媒體信息就顯得力不從心。因此，本文又提出新型的基于坐標樹的方法，該方法針對DOM缺乏位置信息的不足，加入了坐標信息生成坐標樹，并且還給出了能反映網頁空間關系的圖模型。通過將HTML文檔轉換為坐標樹，結合位置特征和空間關系可對網頁進行分析和提取內容。對來自120個網站的5000個網頁進行測試后的結果表明該方法可達到93.78％的準確率，并且對相關連接和相關圖片的抽取有較高的準確率和召回率。最后，本文對文本分類做了簡單