面向文本的主題挖掘技術(shù)與實現(xiàn).pdf

1、隨著信息時代的到來，互聯(lián)網(wǎng)技術(shù)得到了飛速的發(fā)展，數(shù)字化圖書館、數(shù)字化辦公也變得越來越普及，于是網(wǎng)絡(luò)上的信息在以幾何級數(shù)般的速度在膨脹。面對網(wǎng)絡(luò)上如此浩瀚的信息，和人們有限的精力，快速提取出自己需要的信息，成為了人們的迫切需求。目前存在的主題挖掘系統(tǒng)，能夠提取出文檔的主題，從一定程度上滿足了人們的需求，但是它們大都存在著效率低，主題提取不準確的問題，為此，本課題認真分析了他們的不足之處，通過改進提出了一種面向文本的主題挖掘的新技術(shù)。

2、>　　 面向文本的主題挖掘技術(shù)，旨在利用日益成熟的文本挖掘技術(shù)，首先抽取某一領(lǐng)域的一篇文檔，和其他領(lǐng)域的幾百篇文檔，進行特征表示和中文切詞處理，然后統(tǒng)計詞頻，計算權(quán)重大小，得出這一領(lǐng)域的此篇文檔中的詞語，在代表該領(lǐng)域詞語特征方面的重要程度。一般認為，一個詞語在該領(lǐng)域內(nèi)越重要，那么它在該領(lǐng)域的文檔中的出現(xiàn)頻率就越高，而在其它領(lǐng)域內(nèi)的出現(xiàn)頻率越低，甚至不出現(xiàn)。然后按重要程度的大小排序，并按比例提取詞語放入該領(lǐng)域的詞庫中。同時，很多文本文檔

3、都帶有標題、摘要、關(guān)鍵字等信息，而這些信息跟正文相比，對于文本主題的貢獻程度是不同的，它們往往都是經(jīng)過作者提煉加工得出的，因此，比正文信息更能代表文檔的中心思想，所以還要對將這些信息經(jīng)過切詞處理后與正文信息進行詞語相似度計算，將符合閾值要求的詞語加入到該領(lǐng)域的詞庫中，然后還要將中文切詞中切碎的詞語，進行組合詞拼接，以使專業(yè)詞語保留在該領(lǐng)域的主題詞庫中，最后，按比例提取主題詞，得到該領(lǐng)域的主題詞庫，同時，由于“爸爸”與“父親”具有相同的含

4、義，因此，還需要將得到的該領(lǐng)域的主題詞庫中的詞語查找同義詞表，并將這些詞語的同義詞一塊加入到該領(lǐng)域的詞庫中。通過不斷的訓練，該領(lǐng)域的文檔，逐步擴展該領(lǐng)域的詞語數(shù)，并且通過設(shè)定的參數(shù)優(yōu)化本領(lǐng)域中的詞語，使其保留最具代表性的詞語，提高主題發(fā)現(xiàn)的效率和準確性。
　　 在得到的領(lǐng)域詞庫的輔助下，將需要進行主題挖掘的文檔經(jīng)過特征表示后，用該領(lǐng)域的主題詞庫進行切詞處理，通過詞頻統(tǒng)計和權(quán)重計算后，得到按權(quán)重大小排序的詞集，最終得到形如“體育→

5、足球→任意球技術(shù)”的主題。
　　 實驗表明：在建立領(lǐng)域詞庫的過程中該方法的準確率在80％以上，并會隨著背景文檔數(shù)的增加，準確率成緩慢上升的趨勢，因為隨著詞語數(shù)量的增加，專業(yè)詞語在該領(lǐng)域中的出現(xiàn)頻率不變而在其它領(lǐng)域中的出現(xiàn)頻率會逐漸降低，這樣經(jīng)過權(quán)重計算，就會使主題提取的準確率提高。
　　 在主題提取實驗中，該方法在領(lǐng)域詞庫的幫助下，能夠準確、高效的提取出該文檔表達的主要思想，能夠幫助人們從浩瀚的文本信息中，快速識別自己需