面向Web文本數(shù)據(jù)倉(cāng)庫(kù)的預(yù)處理關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們?cè)絹?lái)越多的利用Web獲得自己所需的資源。由于Web上各種資源非常豐富，包括大量的圖片、文本等信息。如何把Web中非結(jié)構(gòu)化的文本結(jié)構(gòu)化，抽取支持高級(jí)應(yīng)用的有用信息并載入數(shù)據(jù)倉(cāng)庫(kù)成為預(yù)處理的一個(gè)關(guān)鍵技術(shù)。
　　本文以Web文本數(shù)據(jù)倉(cāng)庫(kù)中的預(yù)處理系統(tǒng)為例，重點(diǎn)討論了預(yù)處理中的關(guān)鍵技術(shù)。首先介紹了基于主題方法的Web文本數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建，并設(shè)計(jì)了其星型模型，從中得到需要從Web文本中獲取的信息。然后論述了文檔對(duì)象模

2、型(DOM)和信息抽取技術(shù)，通過(guò)對(duì)HTML解析把非結(jié)構(gòu)化的Web文本變成DOM，獲得所需的標(biāo)題、作者以及內(nèi)容等信息，并為后續(xù)獲得其他所需信息的信息抽取操作提供了結(jié)構(gòu)化模型。在信息抽取過(guò)程中采用了文本分詞、關(guān)鍵詞提取、自動(dòng)摘要提取以及文本分類(lèi)技術(shù)。由于分詞技術(shù)已經(jīng)比較成熟，本文采用了中科院ICTCLAS分詞系統(tǒng)；在關(guān)鍵詞提取中采用基于詞共現(xiàn)模型的方法；在摘要提取的過(guò)程中，使用了一種改進(jìn)的基于統(tǒng)計(jì)的摘要提取技術(shù)，獲得流暢的摘要，達(dá)到了較好的