Web個(gè)人信息集成問(wèn)題研究.pdf

1、Web個(gè)人信息指存在于網(wǎng)頁(yè)中與一個(gè)人相關(guān)的信息,依照存在方式不同,可分為以結(jié)構(gòu)化形式表達(dá)的個(gè)人直觀屬性和隱藏在非結(jié)構(gòu)化文本中的非直觀信息。隨著網(wǎng)絡(luò)技術(shù)成熟和網(wǎng)絡(luò)應(yīng)用深入發(fā)展,互聯(lián)網(wǎng)網(wǎng)站數(shù)量呈爆炸式增長(zhǎng),其上個(gè)人信息資源數(shù)量也很驚人,內(nèi)容豐富,涵蓋了人們生活和工作的各個(gè)領(lǐng)域,根據(jù)Web查詢統(tǒng)計(jì),約11％-17％的查詢包括人名,約4％的Web查詢只包括人名,說(shuō)明了從互聯(lián)網(wǎng)上獲取與個(gè)人相關(guān)信息已成為最常見(jiàn)的用戶行為之一。
　　 基于信

2、息檢索技術(shù)的搜索引擎為用戶提供查找與個(gè)人相關(guān)網(wǎng)頁(yè)的途徑,能夠?qū)⑴c需求相匹配的網(wǎng)頁(yè)鏈接返回給用戶,并且可以按照一定排名規(guī)則對(duì)網(wǎng)頁(yè)進(jìn)行排序,但是,對(duì)于網(wǎng)頁(yè)中需要文本深入分析的豐富的個(gè)人信息獲取卻無(wú)能為力。為了突破搜索引擎在互聯(lián)網(wǎng)個(gè)人信息處理中的限制,實(shí)現(xiàn)對(duì)蘊(yùn)含其中個(gè)人信息的獲取利用,業(yè)界和學(xué)術(shù)界開(kāi)始從個(gè)人信息組織角度對(duì)互聯(lián)網(wǎng)個(gè)人信息進(jìn)行研究。
　　 互聯(lián)網(wǎng)是分布式的、動(dòng)態(tài)的、異構(gòu)的,包含個(gè)人信息網(wǎng)站的內(nèi)容并不一致,信息表達(dá)方式也不統(tǒng)

3、一,對(duì)個(gè)人信息組織并非易事。雖然,國(guó)內(nèi)外學(xué)者在信息組織角度對(duì)互聯(lián)網(wǎng)上個(gè)人信息進(jìn)行的研究取得了一定進(jìn)展,仍存在許多問(wèn)題有待解決。(1)個(gè)人頁(yè)面的正確識(shí)別?；ヂ?lián)網(wǎng)中與個(gè)人信息相關(guān)網(wǎng)頁(yè)的相同人名對(duì)應(yīng)不同的人物個(gè)體,這些網(wǎng)頁(yè)中的個(gè)人信息屬于不同的同名人。面對(duì)同名人網(wǎng)頁(yè)混雜一起的現(xiàn)象,要對(duì)一個(gè)人的信息進(jìn)行集成,首先必須將同名人網(wǎng)頁(yè)按照不同的人物個(gè)體區(qū)分,為進(jìn)一步的信息抽取和分析做準(zhǔn)備。(2)人物實(shí)體模式的不完備。來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)在展現(xiàn)內(nèi)容和數(shù)

4、據(jù)模式等方面存在差異,相同的人物屬性,在不同的網(wǎng)站表現(xiàn)形式是不一致的。信息的不一致給人們應(yīng)用這些異構(gòu)信息帶來(lái)不便。為了有助于對(duì)各數(shù)據(jù)源的有效應(yīng)用,可以依據(jù)數(shù)據(jù)源間不同的表現(xiàn)形式和表現(xiàn)內(nèi)容,為人物實(shí)體建立融合在一起的全面的數(shù)據(jù)模式,為進(jìn)一步從新的數(shù)據(jù)源對(duì)人物實(shí)體識(shí)別、抽取和集成提供指導(dǎo)。(3)人物實(shí)體活動(dòng)的提取。人物實(shí)體活動(dòng)是存在于網(wǎng)頁(yè)無(wú)結(jié)構(gòu)文本中的一種信息,與網(wǎng)頁(yè)中結(jié)構(gòu)化信息提取相比,無(wú)結(jié)構(gòu)化文本中信息提取更加困難,而用戶對(duì)其關(guān)注度遠(yuǎn)遠(yuǎn)

5、高于對(duì)結(jié)構(gòu)化信息關(guān)注度,因?yàn)檫@些信息更能夠刻畫一個(gè)人的生活狀態(tài)、工作狀態(tài)和態(tài)度立場(chǎng)等。然而,這些信息都存在于無(wú)結(jié)構(gòu)和半結(jié)構(gòu)化的文本中,由于先天的自然語(yǔ)言理解困難性,要對(duì)這些信息進(jìn)行梳理,實(shí)現(xiàn)對(duì)這些信息的有效抽取是前提。
　　 Web信息集成是面向互聯(lián)網(wǎng)環(huán)境,在信息集成技術(shù)基礎(chǔ)上發(fā)展起來(lái)的研究,目的是對(duì)不同網(wǎng)站間異構(gòu)數(shù)據(jù)進(jìn)行分析、篩選和合并,為用戶提供統(tǒng)一知識(shí)視圖和訪問(wèn)方式,其實(shí)質(zhì)就是對(duì)互聯(lián)網(wǎng)信息的一種重新理解和組織。本文利用We

6、b信息集成相關(guān)技術(shù)對(duì)互聯(lián)網(wǎng)中龐大且凌亂的個(gè)人信息重新組織進(jìn)行深入研究。
　　 本文研究的目的是獲取互聯(lián)網(wǎng)這個(gè)公開(kāi)信息源上豐富與個(gè)人相關(guān)的網(wǎng)頁(yè),抽取出網(wǎng)頁(yè)中個(gè)人的直觀屬性和非直觀信息,建立個(gè)人信息的全貌。研究?jī)?nèi)容包括三方面,第一個(gè)內(nèi)容是Web人名消歧,這是個(gè)人信息重組的基礎(chǔ),只有利用網(wǎng)頁(yè)中人物個(gè)體的屬性特征,將包含同名人信息的網(wǎng)頁(yè)分類,才能降低同名不同人的人物個(gè)體網(wǎng)頁(yè)噪音,從中選擇出與信息重組特定人物個(gè)體最相關(guān)網(wǎng)頁(yè)。第二個(gè)內(nèi)容是人

7、物實(shí)體的全局模式構(gòu)建。Web數(shù)據(jù)源的數(shù)據(jù)模式和數(shù)據(jù)內(nèi)容各不相同,人物實(shí)體全局模式的構(gòu)建可以為人物實(shí)體新數(shù)據(jù)源發(fā)現(xiàn)、新數(shù)據(jù)源模式構(gòu)建和數(shù)據(jù)提取提供指導(dǎo),可以為人物實(shí)體統(tǒng)一視圖的建立提供依據(jù)。第三個(gè)內(nèi)容是人物實(shí)體活動(dòng)抽取,將網(wǎng)頁(yè)中個(gè)人活動(dòng)組織起來(lái),能清晰看到其生活和工作的軌跡。
　　 本文貢獻(xiàn)主要包括以下三個(gè)方面:(1)采用了人物特征屬性和層次凝聚聚類方法解決Web網(wǎng)頁(yè)人名消歧問(wèn)題。提出的基于搜索引擎的通用人名消歧框架,能夠避免需要

8、巨大精力和巨大投資的新的個(gè)人信息網(wǎng)頁(yè)搜索工具開(kāi)發(fā),可以充分利用搜索引擎的優(yōu)勢(shì),在系統(tǒng)消耗很低的情況下,得到高性能的人物實(shí)體數(shù)據(jù)集。多角度人物實(shí)體特征屬性選取,突破了單一人物實(shí)體特征屬性選擇,也不同于以文本特性代替人物實(shí)體特征的方法,基于此的網(wǎng)頁(yè)相似度計(jì)算比基于TF/IDF和向量空間模型的計(jì)算方法更加簡(jiǎn)便合理。(2)采用漸進(jìn)式方法進(jìn)行人物實(shí)體全局模式的動(dòng)態(tài)構(gòu)建。提出的基于人物實(shí)體結(jié)構(gòu)化信息網(wǎng)頁(yè)進(jìn)行人物實(shí)體全局模式構(gòu)建的方法,即縮小了構(gòu)建對(duì)

9、象范圍,又能保證足夠?qū)嶓w實(shí)例用于構(gòu)建,給出的人物實(shí)體結(jié)構(gòu)化信息網(wǎng)頁(yè)判定方法抓住了人物實(shí)體結(jié)構(gòu)化信息的幾個(gè)關(guān)鍵特性,既能保證人物實(shí)體結(jié)構(gòu)化網(wǎng)頁(yè)選取的準(zhǔn)確性,又能提高選取的效率。本文提出的人物實(shí)體全局模式動(dòng)態(tài)構(gòu)建,突破了事先對(duì)人物實(shí)體模式進(jìn)行定義,只能抽取固定屬性的限制,又避免了一次性構(gòu)建人物實(shí)體全局模式的弊端,能夠及時(shí)將新的數(shù)據(jù)模式融合到全局模式中,適應(yīng)數(shù)據(jù)源的動(dòng)態(tài)性,從而保證全局模式的完整性。(3)采用條件隨機(jī)場(chǎng)模型進(jìn)行人物實(shí)體活動(dòng)的抽

10、取。由于自然語(yǔ)言處理的復(fù)雜性,人物實(shí)體非直觀信息的抽取一直是研究的難點(diǎn),而人物實(shí)體活動(dòng)本身又是傳統(tǒng)信息抽取很少考慮的一種信息類型。本文對(duì)人物實(shí)體活動(dòng)的研究是對(duì)Web實(shí)體信息抽取研究的完善,給出的人物實(shí)體活動(dòng)形式化定義不僅包括人物實(shí)體作為主體的活動(dòng),而且包括人物實(shí)體作為客體的活動(dòng),對(duì)人物實(shí)體生活和工作軌跡的把握更加全面。在利用條件隨機(jī)場(chǎng)進(jìn)行活動(dòng)要素標(biāo)注過(guò)程中,除了常用的詞性特征,還增加了一個(gè)詞在句子中的位置特征和命名實(shí)體特征,實(shí)驗(yàn)證明這兩