面向Web文本數(shù)據(jù)倉庫的預(yù)處理關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們越來越多的利用Web獲得自己所需的資源。由于Web上各種資源非常豐富，包括大量的圖片、文本等信息。如何把Web中非結(jié)構(gòu)化的文本結(jié)構(gòu)化，抽取支持高級應(yīng)用的有用信息并載入數(shù)據(jù)倉庫成為預(yù)處理的一個關(guān)鍵技術(shù)。
　　本文以Web文本數(shù)據(jù)倉庫中的預(yù)處理系統(tǒng)為例，重點討論了預(yù)處理中的關(guān)鍵技術(shù)。首先介紹了基于主題方法的Web文本數(shù)據(jù)倉庫的構(gòu)建，并設(shè)計了其星型模型，從中得到需要從Web文本中獲取的信息。然后論述了文檔對象模

2、型(DOM)和信息抽取技術(shù)，通過對HTML解析把非結(jié)構(gòu)化的Web文本變成DOM，獲得所需的標(biāo)題、作者以及內(nèi)容等信息，并為后續(xù)獲得其他所需信息的信息抽取操作提供了結(jié)構(gòu)化模型。在信息抽取過程中采用了文本分詞、關(guān)鍵詞提取、自動摘要提取以及文本分類技術(shù)。由于分詞技術(shù)已經(jīng)比較成熟，本文采用了中科院ICTCLAS分詞系統(tǒng)；在關(guān)鍵詞提取中采用基于詞共現(xiàn)模型的方法；在摘要提取的過程中，使用了一種改進(jìn)的基于統(tǒng)計的摘要提取技術(shù)，獲得流暢的摘要，達(dá)到了較好的