面向領(lǐng)域的Web信息自動(dòng)化抽取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，社會(huì)各行各業(yè)都在通過(guò)網(wǎng)絡(luò)與外界交互信息，Web信息呈顯海量和多元化，并且仍在急劇增長(zhǎng)。在越來(lái)越多的實(shí)際應(yīng)用需要從Web中抽取有價(jià)值的信息加以利用。不同網(wǎng)站網(wǎng)頁(yè)異構(gòu)化和網(wǎng)頁(yè)自身半結(jié)構(gòu)化特征使得Web信息難以分析和直接利用，另一方面，人們除了關(guān)注大眾新聞外，更多的是對(duì)一些與自己相關(guān)的特定領(lǐng)域信息感興趣。面向領(lǐng)域的Web信息抽取技術(shù)在實(shí)際應(yīng)用中變得越來(lái)越重要。
　　 論文分析了當(dāng)前的Web信息抽取國(guó)內(nèi)外研究現(xiàn)

2、狀及發(fā)展趨勢(shì)，研究領(lǐng)域網(wǎng)站的特點(diǎn)并提出系統(tǒng)設(shè)計(jì)目標(biāo)。本系統(tǒng)的特色是基于特定領(lǐng)域網(wǎng)站抽取用戶關(guān)注信息，能夠自動(dòng)生成領(lǐng)域內(nèi)不同網(wǎng)站的抽取規(guī)則，系統(tǒng)具有良好的抽取性能，并且容易擴(kuò)展，可移植抽取不同領(lǐng)域網(wǎng)站。系統(tǒng)設(shè)計(jì)宗旨是努力提高系統(tǒng)的易用性，尋求在用戶參與負(fù)擔(dān)和系統(tǒng)抽取性能之間取得平衡。
　　 系統(tǒng)設(shè)計(jì)主要包括了數(shù)據(jù)采集模塊、網(wǎng)頁(yè)清洗模塊、抽取規(guī)則生成模塊、Web信息管理模塊等。其中抽取規(guī)則生成模塊為系統(tǒng)核心模塊，采用全自動(dòng)化包裝器生

3、成算法MDR算法和DSE算法分別用來(lái)抽取兩類數(shù)據(jù)密集型網(wǎng)頁(yè):列表頁(yè)和詳情頁(yè)。為了提高抽取結(jié)果的準(zhǔn)確率，系統(tǒng)基于DOM樹(shù)模型設(shè)計(jì)了兩種方法過(guò)濾噪音:一種方法是根據(jù)領(lǐng)域網(wǎng)頁(yè)中用戶目標(biāo)數(shù)據(jù)與噪音數(shù)據(jù)在結(jié)構(gòu)上差異設(shè)計(jì)啟發(fā)式過(guò)濾噪音，另一種方法是根據(jù)相同領(lǐng)域下網(wǎng)站的詳情頁(yè)文本相似特點(diǎn)利用kNN文本分類方法過(guò)濾噪音。
　　 本文結(jié)合Java技術(shù)以網(wǎng)上招聘行業(yè)網(wǎng)站信息抽取為示例，實(shí)現(xiàn)了一個(gè)完整的面向領(lǐng)域Web自動(dòng)抽取系統(tǒng)。經(jīng)對(duì)抽取結(jié)果評(píng)測(cè)表明