Web信息內(nèi)容及其特征提取方法研究.pdf

1、隨著Internet的迅速發(fā)展，Web信息已經(jīng)成為人們生活和工作中重要的信息來源。然而Web信息的濫用也成為互聯(lián)網(wǎng)領(lǐng)域的一大難題，比如，不法分子通過BBS、專欄、電子郵件等進(jìn)行反動宣傳、詐騙、恐怖威脅、傳播色情、病毒等網(wǎng)絡(luò)犯罪現(xiàn)象日益嚴(yán)重；遠(yuǎn)程教育中，抄襲作業(yè)的現(xiàn)象為教學(xué)管理帶來了嚴(yán)峻的挑戰(zhàn)。這就需要找出這些Web信息的發(fā)布源并予以處置。然而這些Web信息的發(fā)布者總是試圖隱藏其真實身份以逃避偵察，所以通過發(fā)布信息者的名稱、IP地址、郵件

2、頭等信息找出Web信息發(fā)布源是一件很困難的事情。如何同一認(rèn)定Web信息發(fā)布源已經(jīng)成為當(dāng)前亟需解決的問題。 在Web信息發(fā)布源同一認(rèn)定的研究中，Web信息內(nèi)容及其特征提取是作者身份識別過程中的基礎(chǔ)問題。因為任何算法和技術(shù)都是以特征為基礎(chǔ)來進(jìn)行分類或判斷的，特征提取的正確與否、質(zhì)量高低直接影響到分類識別的精度。而內(nèi)容提取的準(zhǔn)確與否在一定程度上也影響了特征提取的效率。所以本文的研究目的就是以中文Web信息文本為研究對象，分析研究Web

3、信息的內(nèi)容及其特征提取方法，為Web信息發(fā)布源同一認(rèn)定的研究奠定基礎(chǔ)，最終達(dá)到識別Web信息作者真實身份的目的，為計算機(jī)取證提供依據(jù)，追究Web信息作者的責(zé)任，具有重要的應(yīng)用價值和現(xiàn)實意義。 迄今為止，大部分相關(guān)研究主要集中在文本分類，但是由于Web信息文本與普通文本在形式和語言表達(dá)及文本篇幅長短上的差異，文本分類的特征不太適合Web信息特征的選擇。國外針對作者同一認(rèn)定的研究已有初步的研究成果報道，但是由于中文和外文的差異，其理

4、論和方法對于中文Web信息不太適合。國內(nèi)針對中文電子郵件作者的身份特征研究已有開展，但是郵件的特征還不能完全應(yīng)用于其它類型的Web信息，并且針對各類形式Web信息特征的提取，還沒有一個統(tǒng)一的解決方案.所以在這一領(lǐng)域還存在許多需要解決的問題。 本文首先對Web信息發(fā)布源同一認(rèn)定研究領(lǐng)域的國內(nèi)外研究現(xiàn)狀進(jìn)行了論述，探討了現(xiàn)有的研究技術(shù)和方法；在詳細(xì)分析Web信息格式及內(nèi)容的基礎(chǔ)上，根據(jù)HTML頁面與電子郵件在格式結(jié)構(gòu)上的差異，分別探

5、討了HTML頁面和電子郵件的內(nèi)容提取技術(shù)。對Web頁面主題文本的提取，郵件信息提取，郵件內(nèi)容解碼等方法進(jìn)行了研究；給出了利用結(jié)點主題相關(guān)性判定Web頁面主題內(nèi)容的方法，以及過濾郵件中回復(fù)行和廣告行內(nèi)容的方法。 針對中文Web信息，在分析和比較了Web信息文本與普通文本區(qū)別的基礎(chǔ)上，借鑒已有研究成果，給出了可用于中文Web信息的特征模型，詳細(xì)地分析了中文Web信息作者的寫作特征，包括語言特征、詞匯特征、結(jié)構(gòu)特征以及格式特征等，并對

6、各類特征的提取方法進(jìn)行了研究；針對語言特征中潛在特征詞的提取問題，給出了利用關(guān)聯(lián)規(guī)則提取文本中的潛在特征詞的方法，在一定程度上克服了分詞程序的缺陷；在文本分類知識的基礎(chǔ)上，借鑒已有研究成果，給出了中文Web信息特征表示方法、特征選擇方法和特征權(quán)重的計算模型，明確各項特征在Web信息發(fā)布源同一認(rèn)定中的重要性以及相互關(guān)系。 為了驗證所給出的模型和方法的正確性和可行性，本研究對HTML頁面內(nèi)容提取，電子郵件內(nèi)容提取，以及Web信息特征