基于PAT和MLN的Web數(shù)據(jù)抽取研究.pdf

1、隨著互聯(lián)網(wǎng)及其應(yīng)用的快速發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)量急劇增長(zhǎng)，網(wǎng)頁(yè)上的數(shù)據(jù)已經(jīng)成為一個(gè)巨大的數(shù)據(jù)庫(kù)，其中包含著大量潛在的有用信息，如何從中抽取出用戶感興趣的數(shù)據(jù)已經(jīng)成為人們關(guān)注的焦點(diǎn)。web數(shù)據(jù)抽取的主要任務(wù)就是從這些半結(jié)構(gòu)化的網(wǎng)頁(yè)中抽取出用戶感興趣的數(shù)據(jù)，并將其轉(zhuǎn)換成結(jié)構(gòu)化形式，為后續(xù)應(yīng)用提供數(shù)據(jù)基礎(chǔ)。
　　 web數(shù)據(jù)抽取吸引了眾多研究者，并開(kāi)發(fā)出了各種各樣的web數(shù)據(jù)抽取系統(tǒng)。這些系統(tǒng)采用的方法和技術(shù)種類(lèi)繁多，其采用的主要方法有

2、：自定義開(kāi)發(fā)語(yǔ)言、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、模式挖掘和本體技術(shù)等。這些系統(tǒng)各有所長(zhǎng)，但是往往只能針對(duì)某些特定類(lèi)型的網(wǎng)頁(yè)進(jìn)行抽取，具有很大的局限性。比如，一些基于模式挖掘的方法只能從結(jié)構(gòu)清晰的網(wǎng)頁(yè)中抽取標(biāo)簽之間內(nèi)容，不能從標(biāo)簽之間的文本中抽取數(shù)據(jù)。
　　 通常目標(biāo)網(wǎng)頁(yè)中包含有大量目標(biāo)數(shù)據(jù)信息，因此在形式上存在連續(xù)出現(xiàn)的模式，并且該模式整體上的形式變化很小。根據(jù)這一特點(diǎn)，本文提出了一個(gè)基于PAT和馬爾科夫邏輯網(wǎng)的數(shù)據(jù)抽取方法。其主要思

3、想是，利用PAT算法發(fā)現(xiàn)頻繁模式的能力得到潛在模式，并選出最優(yōu)的抽取模式；利用這些模式將目標(biāo)數(shù)據(jù)所在的數(shù)據(jù)塊抽取出來(lái)，在此基礎(chǔ)上運(yùn)用馬爾科夫邏輯網(wǎng)進(jìn)行更加精細(xì)的抽取。
　　 本文所提出的方法的具體過(guò)程是，首先忽略網(wǎng)頁(yè)中所有的文本修飾標(biāo)簽，只保留定義文檔結(jié)構(gòu)的塊標(biāo)簽，并將整個(gè)網(wǎng)頁(yè)轉(zhuǎn)換成token串。每個(gè)token都有一個(gè)相同長(zhǎng)度的二進(jìn)制編碼，按照這個(gè)對(duì)應(yīng)關(guān)系將之前的token串轉(zhuǎn)換成一個(gè)二進(jìn)制字符串，得到該網(wǎng)頁(yè)的半無(wú)限長(zhǎng)字符串。此

4、時(shí)利用PAT算法，構(gòu)建出該網(wǎng)頁(yè)的PAT樹(shù)，從中發(fā)掘出頻率較高的潛在模式，并按照一定的篩選規(guī)則，篩選出候選模式。在用戶標(biāo)注訓(xùn)練樣例的同時(shí)，從候選模式中確定出用戶感興趣的數(shù)據(jù)信息所在區(qū)域的最優(yōu)匹配模式--目標(biāo)模式。運(yùn)用目標(biāo)模式，將網(wǎng)頁(yè)中所有匹配的數(shù)據(jù)區(qū)域抽取出來(lái)，得到目標(biāo)數(shù)據(jù)塊。在數(shù)據(jù)塊的基礎(chǔ)上，運(yùn)用馬爾科夫邏輯網(wǎng)對(duì)數(shù)據(jù)進(jìn)行抽取。即根據(jù)數(shù)據(jù)塊中目標(biāo)數(shù)據(jù)的結(jié)構(gòu)特征，通過(guò)構(gòu)建原子謂詞及一階邏輯公式，構(gòu)建出馬爾科夫邏輯網(wǎng)，并在大量的實(shí)例中進(jìn)行權(quán)重