基于RSS和本體語義適配的自治主題頁面采集.pdf

1、搜索引擎是伴隨著互聯(lián)網(wǎng)信息擴展?fàn)I運而生的,其任務(wù)是幫助網(wǎng)民在海量信息中去粗存精,快速找到自己所需的信息。調(diào)查表明,2006年搜索引擎已成為僅次于電子郵件,位居第二的互聯(lián)網(wǎng)業(yè)務(wù)。通用搜索引擎在滿足海量搜索信息的同時卻難以兼顧搜索準(zhǔn)確度與相關(guān)度質(zhì)量,很難滿足追求精準(zhǔn)的個性化、專業(yè)化搜索需求。 垂直搜索(Vertical Search)是針對某一個行業(yè)的專業(yè)搜索引擎,是搜索引擎的細分和延伸,是對網(wǎng)頁庫中的某類專門的信息進行一次整合,定

2、向分字段抽取出需要的數(shù)據(jù)進行處理后再以某種形式返回給用戶。垂直搜索引擎是面向特定領(lǐng)域和主題信息檢索的工具,面向主題的頁面采集是其基礎(chǔ)工作。本文針對其核心和基礎(chǔ)性工作-主題頁面采集進行了分析和研究,主要的工作有并重點從以下幾方面進行： 1、在DOM解析的基礎(chǔ)上,提出了改進型的HPath頁面抽取技術(shù)；針對DOM解析器異構(gòu)現(xiàn)象,運用HPath基礎(chǔ)解決不同解析器的集成應(yīng)用難題,為商用化的主題頁面采集與垂直搜索引擎研究奠定了理論和技術(shù)基礎(chǔ)

3、。 2、面向新興的Web2.0網(wǎng)絡(luò),提出基于Web2.0基礎(chǔ)的高精度主題頁面采集方案,并通過XPath解決RSS標(biāo)準(zhǔn)不統(tǒng)一問題。 3、在主題頁面采集的后期處理上,提出用本體語義適配來解決來自各種不同系統(tǒng)的主題語義異構(gòu)問題,采用語義距離算法對頁面主題進行歸納和分類。 4、為了提高采集系統(tǒng)的實用性和可維護性,本文嘗試采用IBM自治計算框架,結(jié)合改進主動數(shù)據(jù)倉庫ECA規(guī)則,提出了具有一定自治能力的主題頁面采集系統(tǒng)設(shè)計。