基于工程項目文檔的文本挖掘系統(tǒng)的研究與實現(xiàn).pdf

1、隨著計算機應用技術(shù)的發(fā)展，電子文檔的數(shù)量呈爆炸的趨勢增長。各種形式的電子文檔中蘊涵著豐富的信息，但由于它們是以非結(jié)構(gòu)化或半結(jié)構(gòu)化形式存儲的，所以無法用傳統(tǒng)的數(shù)據(jù)挖掘方法對其進行信息挖掘。在這種情況下，文本挖掘技術(shù)成了新的研究熱點。文本挖掘過程以特征的提取、表示和選擇為基礎(chǔ)，將非結(jié)構(gòu)化（半結(jié)構(gòu)化）的文檔數(shù)據(jù)形式轉(zhuǎn)換成結(jié)構(gòu)化的，然后運用文本分類、聚類、關(guān)聯(lián)分析、分布分析和趨勢預測等方法提取有用的知識。文本挖掘以最普遍、最自然的信息存儲形式-

2、-文本為研究對象，具有很廣闊的研究前景。
　　 目前，文本挖掘主要被應用于互聯(lián)網(wǎng)領(lǐng)域的網(wǎng)頁分類、相關(guān)檢索、垃圾郵件過濾等方面，但在擁有大量技術(shù)文檔的企業(yè)管理信息系統(tǒng)中，對文本挖掘的應用研究還很少。針對這個問題，本文以中石化項目“工程項目投標報價智能決策支持系統(tǒng)”的“文本管理模塊”為對象，根據(jù)工程項目文檔的特點和應用需求，設(shè)計并開發(fā)了“基于工程項目文檔的文本挖掘系統(tǒng)”。該系統(tǒng)實現(xiàn)了文檔的結(jié)構(gòu)化管理，并通過提出的算法對文本信息進行深

3、入的挖掘。
　　 首先，本文采用非負矩陣因子分解法(NMF)對工程項目文檔進行聚類并提取類名，同時生成了基于概念的文本特征表示空間。在此基礎(chǔ)上，本文提出了“基于概念全信息空間的文本知識挖掘算法”，該算法將經(jīng)典的全信息理的思想應用于概念空間模型中，從應用的角度出發(fā)度量特征攜帶的全信息量，與傳統(tǒng)的僅計算特征語義信息量的方法相比，能夠為基于信息的決策提供更全面的參考依據(jù)。其次，本文按照物元理論提供的方法，對文檔進行結(jié)構(gòu)化的組織并提出了