自定義主題信息抽取的研究與應(yīng)用.pdf

1、當(dāng)今社會，網(wǎng)站是人們獲得信息的主要來源之一，可是在網(wǎng)站提供的信息里面難免摻雜著一些人們不關(guān)心的信息，如圖片，廣告，無關(guān)鏈接等。一些商業(yè)性網(wǎng)站已經(jīng)發(fā)現(xiàn)了這些弊端，采用了“推”的技術(shù)，向互聯(lián)網(wǎng)上的人們發(fā)布RSS種子，人們通過定制可以直接定位到所需信息，這樣的信息準(zhǔn)確，及時。但是，一些非商業(yè)性網(wǎng)站，還沒有這樣的一個統(tǒng)一的信息發(fā)布平臺用于不同主題信息的定制，所以在進行信息獲取方面上，要實現(xiàn)新、快、準(zhǔn)的目標(biāo)，就要主動的去其他網(wǎng)站上的信息源獲取。

2、 本文在自定義主題信息抽取的需求背景之下，通過對鏈接上下文算法和WEB目錄型網(wǎng)頁結(jié)構(gòu)特點的研究，提出局部擴散算法來發(fā)現(xiàn)主題相關(guān)鏈接，從而確定主題鏈接塊的位置，減少與主題無關(guān)的鏈接被發(fā)現(xiàn)的概率來滿足自定義主題的需求。在主題信息抽取階段，將網(wǎng)頁HTML標(biāo)簽文檔進行基于布局標(biāo)簽的劃分，構(gòu)造網(wǎng)頁的粗粒度劃分DOM樹模型表示，通過文本語義分析，獲取網(wǎng)頁語義塊的特征向量作為網(wǎng)頁的量化表示，在進行抽取時利用網(wǎng)頁本身文本語義進行，省去了通過大量訓(xùn)

3、練集的訓(xùn)練來確定模板的階段，而且通過實驗證明該抽取算法有助于提高在抽取信息過程中的整體完整性，指出了適用的范圍，并且在實際應(yīng)用中采用語義塊分析與語義塊位置相結(jié)合的方式，直接定位抽取塊，從而避免無關(guān)信息的抽取。最后通過對主題信息抽取的研究和公安信息網(wǎng)頁的研究與應(yīng)用，建立了一個基于塊位置的自定義主題信息抽取系統(tǒng)。解決了如何自動的、廣泛的、準(zhǔn)確的對不同網(wǎng)站上的主題信息進行抽取，并且根據(jù)對不同主題進行的自定義，可以將抽取的信息進行自定義分類，實