自定義主題信息抽取的研究與應(yīng)用.pdf

1、當(dāng)今社會，網(wǎng)站是人們獲得信息的主要來源之一，可是在網(wǎng)站提供的信息里面難免摻雜著一些人們不關(guān)心的信息，如圖片，廣告，無關(guān)鏈接等。一些商業(yè)性網(wǎng)站已經(jīng)發(fā)現(xiàn)了這些弊端，采用了“推”的技術(shù)，向互聯(lián)網(wǎng)上的人們發(fā)布RSS種子，人們通過定制可以直接定位到所需信息，這樣的信息準(zhǔn)確，及時。但是，一些非商業(yè)性網(wǎng)站，還沒有這樣的一個統(tǒng)一的信息發(fā)布平臺用于不同主題信息的定制，所以在進(jìn)行信息獲取方面上，要實(shí)現(xiàn)新、快、準(zhǔn)的目標(biāo)，就要主動的去其他網(wǎng)站上的信息源獲取。

2、 本文在自定義主題信息抽取的需求背景之下，通過對鏈接上下文算法和WEB目錄型網(wǎng)頁結(jié)構(gòu)特點(diǎn)的研究，提出局部擴(kuò)散算法來發(fā)現(xiàn)主題相關(guān)鏈接，從而確定主題鏈接塊的位置，減少與主題無關(guān)的鏈接被發(fā)現(xiàn)的概率來滿足自定義主題的需求。在主題信息抽取階段，將網(wǎng)頁HTML標(biāo)簽文檔進(jìn)行基于布局標(biāo)簽的劃分，構(gòu)造網(wǎng)頁的粗粒度劃分DOM樹模型表示，通過文本語義分析，獲取網(wǎng)頁語義塊的特征向量作為網(wǎng)頁的量化表示，在進(jìn)行抽取時利用網(wǎng)頁本身文本語義進(jìn)行，省去了通過大量訓(xùn)

3、練集的訓(xùn)練來確定模板的階段，而且通過實(shí)驗(yàn)證明該抽取算法有助于提高在抽取信息過程中的整體完整性，指出了適用的范圍，并且在實(shí)際應(yīng)用中采用語義塊分析與語義塊位置相結(jié)合的方式，直接定位抽取塊，從而避免無關(guān)信息的抽取。最后通過對主題信息抽取的研究和公安信息網(wǎng)頁的研究與應(yīng)用，建立了一個基于塊位置的自定義主題信息抽取系統(tǒng)。解決了如何自動的、廣泛的、準(zhǔn)確的對不同網(wǎng)站上的主題信息進(jìn)行抽取，并且根據(jù)對不同主題進(jìn)行的自定義，可以將抽取的信息進(jìn)行自定義分類，實(shí)