文本信息處理的若干關鍵技術研究.pdf

1、本文以文本信息檢索模型為基準，對文本信息處理的幾個關鍵技術包括文本分類、文本聚類和近似查詢處理等進行研究。文本分類和文本聚類是對數(shù)據(jù)進行組織和管理的核心技術。近似查詢處理需要快速查詢到所需信息，這是解決大規(guī)模數(shù)據(jù)集的一個重要技術。 以下是本文的主要研究內(nèi)容： (1)文本信息處理的技術基礎。包括文檔表示模型、切詞、特征選擇、文本分類和文本聚類。本文簡單介紹了集合模型、代數(shù)模型、概率模型和概念模型等四種文檔表示模型；分析了中

2、文切詞的主要問題和主要方法；具體介紹了文檔特征及其選擇算法；詳細介紹了文本分類和文本聚類，并重點概括了一些重要的文本分類和文本聚類算法。 (2)基于混淆矩陣的層次結構構造。在信息化時代，文檔的海量化和復雜化使得對文檔進行層次分類成為必要。本文根據(jù)描述平面分類器的錯誤情況的混淆矩陣，提出了兩種層次結構構造法。一種是層次聚類法，另一種是混淆類別法。層次聚類法采用合并策略，即：初始時將每個樣本看作一類，然后根據(jù)它們的相似性或距離逐漸合

3、并，直到形成一個大類為止?；煜悇e法根據(jù)各類別間容易混淆的概率大于某個閾值t形成混淆類別，從而構造層次結構。對這兩種算法均給出了詳細的算法。最后通過相關實驗對這兩種層次結構構造方法進行比較。實驗結果表明混淆類別法策略優(yōu)于層次聚類法。主要是因為層次聚類法認為父類下一層的子類間的混淆關系是對稱的，而實際文本并沒有體現(xiàn)這一點。 (3)文檔流派分類研究。文檔流派描述的是文檔的風格，而不是文檔的內(nèi)容。文檔的流派和文檔的主題是正交的。也就是

4、說，相同主題的文檔可以有不同的流派，相同流派的文檔可以描述不同的主題。流派分類在信息檢索、信息過濾、反動信息的攔截和網(wǎng)上輿情調(diào)查等方面發(fā)揮了越來越重要的作用。為了對文檔的正反面進行分類，本文提出了基于特征情感色彩的文檔流派分類方法(情感分類)。對于情感分類來說，它和基于主題的分類在分類方法上并沒有本質(zhì)區(qū)別?？梢哉J為，基于文檔的正反面情感分類就是一個普通的二類分類問題。所以，情感特征的選擇和情感傾向判定就尤為重要。因此，本文主要研究情感特

5、征詞的選擇、情感傾向判定和情感傾向權值計算，并研究了幾種典型的方法。 (4)基于小波變換的近似查詢處理。傳統(tǒng)的決策支持系統(tǒng)在數(shù)據(jù)查詢時希望查詢系統(tǒng)能夠根據(jù)提交的查詢提供一個準確的結果，反應時間很長，這是一種典型的“黑盒”模式。但在現(xiàn)今的DSS、在線分析處理、在線聚集等領域，往往不需要一個精準的結果，而對系統(tǒng)的反應速度有很高的要求。這時近似查詢就應運而生。小波已經(jīng)證明了在層次分解(壓縮)領域的高效率。小波變換通過將GB/TB級的數(shù)