基于Web的雙語資源信息抽取研究.pdf

1、在信息爆炸的現(xiàn)代社會(huì)，要從浩如煙海的文獻(xiàn)、資源中找到真正需要且有價(jià)值的內(nèi)容，是一個(gè)重要的課題。為了解決這一課題，信息檢索、信息抽取等技術(shù)的研究成為當(dāng)前的熱點(diǎn)方向。信息檢索能夠找出滿足一定檢索條件的所有的文檔，而人們?nèi)孕栝喿x所找到的每一個(gè)段落才能獲得所需要的信息；而信息抽取是一種直接從自然語言文本中抽取事實(shí)的方法，即從一段文本中抽取指定的一類信息，將其形成結(jié)構(gòu)化的數(shù)據(jù)，并填入一個(gè)數(shù)據(jù)庫中供用戶查詢使用。 為某一個(gè)或多個(gè)應(yīng)用而專門收

2、集的、有一定結(jié)構(gòu)的、可被計(jì)算機(jī)程序檢索的、具有一定規(guī)模的語料的集合稱之為語料庫。因特網(wǎng)的發(fā)展使信息傳播的領(lǐng)域從真實(shí)世界拓展到網(wǎng)絡(luò)空間，各種類型的數(shù)字化語言材料，包括雙語對(duì)照的材料，都更容易獲得。這為進(jìn)行信息抽取實(shí)驗(yàn)創(chuàng)造了更好的條件。 本文通過構(gòu)建完整的下載、加工、抽取過程來研究如何從因特網(wǎng)的雙語文本中抽取有價(jià)值的信息。主要工作包括： 收集資源是進(jìn)行信息抽取的前提條件，在這一階段，討論在因特網(wǎng)上定位和識(shí)別雙語語料的方法，分

3、析并獲取某個(gè)站點(diǎn)檢索程序的結(jié)構(gòu)，對(duì)于沒有提供檢索功能的站點(diǎn)，利用爬行程序鏈接下載。 將網(wǎng)頁中的動(dòng)態(tài)數(shù)據(jù)區(qū)域與正文部分相區(qū)分，給出基于分塊的網(wǎng)頁正文信息抽取算法，將網(wǎng)頁中包含的噪音內(nèi)容，如導(dǎo)航鏈接及商業(yè)廣告鏈接等盡量屏蔽掉。 在版權(quán)許可的情況下，儲(chǔ)存兩種語言的網(wǎng)頁資料，使之成為雙語平行的語料資源。 在加工形成的雙語語料中，進(jìn)行知識(shí)抽取。介紹并分析抽取詞匯表、術(shù)語的算法以及抽取翻譯模板的方法。最后總結(jié)全文并展望今后進(jìn)