文本OLAP維度獲取與度量計算技術研究.pdf

1、信息數(shù)據(jù)在現(xiàn)代生產和生活中越來越重要。數(shù)據(jù)倉庫被大型企業(yè)及政府廣泛用于存儲和處理大規(guī)模數(shù)據(jù)。OLAP聯(lián)機分析處理成為數(shù)據(jù)倉庫處理數(shù)據(jù)的一種有力工具。OLAP技術能夠對數(shù)據(jù)在不同維度上進行觀察分析，為企業(yè)及政府等提供分析歷史數(shù)據(jù)和預測未來趨勢的功能。
　　 信息數(shù)據(jù)可大體分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)。對于結構化數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理方法比如關系型數(shù)據(jù)庫已能夠相當有效地分析處理。非結構化文本數(shù)據(jù)爆炸性地增長，常見的來源于Web頁面，企

2、業(yè)和政府業(yè)務積累的客戶反饋等，其潛在的信息價值不亞于結構化數(shù)據(jù)，卻沒有相應有效的分析處理方法。
　　 如果能夠將OLAP技術應用于分析非結構化文本數(shù)據(jù)，那么這種文本OLAP對非結構化文本數(shù)據(jù)的處理將變得直觀有效。當前一些研究成果比如TextCube、Topic Cube等已在這個方向上做出貢獻。它們也具有不同的原理和特性，有的歸類為信息檢索，有的是文本挖掘，有的是信息抽取。
　　 本文在研究現(xiàn)有文本OLAP成果基礎上，在

3、維度獲取和度量計算兩方面對文本OLAP進行了改進。本文利用工具將文本轉換為語義網(wǎng)絡這種中間形式，提出了用語義網(wǎng)絡表示的語義維，用帶權值語義網(wǎng)絡表示的度量，以及語義維度成員搜集和維度樹建立的輔助方法。本文還提出了一種語義網(wǎng)絡相似度計算方法，以及使用帶權值語義網(wǎng)絡計算度量的方法。前者用來將原始文本映射到語義維成員，并為度量的典型應用提供支持;后者用來解決基礎單元格度量生成及單元格度量合并的計算問題。
　　 本文提高了文本OLAP分析