Web對象的信息抽取的關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展,Web已經(jīng)成為世界上最大的信息來源。如何獲取有用的Web信息則是大家面臨的共同問題,Web信息抽取就是針對這一問題而提出的。目前大部分信息抽取僅停留在對純文本的信息抽取上,對網(wǎng)頁文本的特殊性考慮不足。另外,信息抽取也很少涉及語義的理解。針對這些問題,本文以當(dāng)前招聘網(wǎng)站上海量的招聘信息為試驗(yàn)數(shù)據(jù),來進(jìn)行定題Web信息挖掘和信息抽取的研究。
　　 本文圍繞Web對象抽取中的關(guān)鍵技術(shù)展開研究。通過對Web頁面特點(diǎn)

2、的分析,實(shí)現(xiàn)Web頁面的自動(dòng)分割,從而獲得主題文本。將主題信息抽象成Web對象,從而根據(jù)Web對象的特征來進(jìn)行Web對象的命名實(shí)體以及實(shí)體關(guān)系的識別,并且通過實(shí)驗(yàn)說明改進(jìn)的模型對于信息抽取有很好的效果,最后提出了系統(tǒng)的不足和未來的研究方向。具體的研究內(nèi)容包括:
　　 首先,針對網(wǎng)頁是二維的特點(diǎn),根據(jù)網(wǎng)頁的結(jié)構(gòu)和文本內(nèi)容特征,提出了基于網(wǎng)頁的多重特征表示方法,實(shí)現(xiàn)了對于網(wǎng)頁語義層面的特征表示。為了體現(xiàn)網(wǎng)頁各個(gè)區(qū)域差異,采用二維模型

3、對其建模,將傳統(tǒng)的HMM推廣到偽二維隱馬爾可夫模型,由此本文提出了基于偽二維隱馬爾可夫模型的網(wǎng)頁自動(dòng)分割技術(shù)。
　　 其次,根據(jù)Web抽取信息的特點(diǎn),引入Web對象的概念。將結(jié)構(gòu)特點(diǎn)和文本特點(diǎn)這兩種一維特征相結(jié)合,并且進(jìn)一步將這種一維特征抽象為語義紋理的二維特征,從而實(shí)現(xiàn)了從對象本身進(jìn)行抽取方法的改進(jìn),并為后文利用一維特征對Web對象實(shí)體的識別,以及二維特征對Web對象實(shí)體和屬性關(guān)系的識別做準(zhǔn)備。
　　 再次,針對Web

4、對象的一維特征,從Web文本的結(jié)構(gòu)特點(diǎn)和內(nèi)容特點(diǎn)進(jìn)行了分析,采用統(tǒng)計(jì)模型和實(shí)體特征相結(jié)合的方法,提出了一種DSTCRFs模型,利用該模型不同的層次來進(jìn)行Web對象的實(shí)體以及屬性的識別,尤其是針對一些復(fù)雜的嵌套實(shí)體的識別,從而將職位名、機(jī)構(gòu)名、地名、時(shí)間等命名實(shí)體的識別放在統(tǒng)一的框架下完成。
　　 最后,傳統(tǒng)模型多利用Web文本的結(jié)構(gòu)和內(nèi)容特點(diǎn)進(jìn)行實(shí)體的特征描述,并且需要依賴于VIPS樹進(jìn)行建模。本文在傳統(tǒng)模型的基礎(chǔ)上,將結(jié)構(gòu)和內(nèi)