基于遺傳算法的Web信息抽取技術(shù).pdf

1、隨著Web信息的迅速擴(kuò)張，Web成為當(dāng)今信息獲取和發(fā)布的事實(shí)標(biāo)準(zhǔn)。為此人們對(duì)信息抽取(IE)系統(tǒng)進(jìn)行大量研究，以幫助用戶在浩瀚如煙的Web上準(zhǔn)確有效地提取自己真正需要的信息。如今已出現(xiàn)大量的信息抽取系統(tǒng)，如W4F、RoadRunner、WHISK、RAPIER、WIEN等。它們?cè)谑褂眉夹g(shù)、自動(dòng)化程度、適用領(lǐng)域等方面都存在一定的差異性。 IE系統(tǒng)中最重要的是抽取規(guī)則，它用來(lái)定位和識(shí)別待抽取的信息。WHISK系統(tǒng)是一個(gè)半自動(dòng)的IE

2、系統(tǒng)，對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化的Web文本它都能使用生成的抽取規(guī)則進(jìn)行信息抽取。但是它在規(guī)則學(xué)習(xí)過(guò)程中規(guī)則不能保證以最優(yōu)的方式進(jìn)行擴(kuò)展，且生成規(guī)則集的效率較低。針對(duì)以上問(wèn)題，本文提出了利用遺傳算法改進(jìn)WHISK的監(jiān)督式學(xué)習(xí)算法，并采用移除法生成規(guī)則集。算法主要實(shí)現(xiàn)以下功能：一、例子的預(yù)處理，包括例子去噪和例子標(biāo)注；二、項(xiàng)的定義和轉(zhuǎn)化；三、用遺傳算法擴(kuò)展規(guī)則；四、用移除法生成規(guī)則集。 我們還實(shí)現(xiàn)了一個(gè)用于在線挖掘網(wǎng)站的Web信息抽取系統(tǒng)

3、，應(yīng)用檢索規(guī)則探查不同網(wǎng)站，使用抽取規(guī)則抽取淺層知識(shí)，再進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn)變化趨勢(shì)。系統(tǒng)主要提供以下功能：1、根據(jù)檢索規(guī)則自動(dòng)下載并解析網(wǎng)頁(yè)；2、在用戶的參與下，提供圖形用戶界面定義單槽抽取規(guī)則或通過(guò)學(xué)習(xí)算法生成多槽抽取規(guī)則；3、實(shí)現(xiàn)批量任務(wù)的自動(dòng)抽取并存儲(chǔ)數(shù)據(jù)；4、對(duì)抽取的歷史數(shù)據(jù)，提供直觀的圖形顯示統(tǒng)計(jì)結(jié)果。 通過(guò)對(duì)多種類型的真實(shí)在線的網(wǎng)頁(yè)進(jìn)行實(shí)驗(yàn)分析，表明IE系統(tǒng)有較好的通用性；通過(guò)與WHISK系統(tǒng)的實(shí)驗(yàn)結(jié)果進(jìn)行比較分析，表