基于LDA多模型中文短文本主題分類體系構(gòu)建與分類.pdf

1、隨著微博、微信等新媒介的迅速發(fā)展，中文短文本信息呈爆發(fā)式增長，如何高效的組織與管理文本信息，已成為亟需解決的問題。文本主題分類，能夠改善文本信息雜亂的狀況，可以減少查詢時間，提高搜索質(zhì)量，快速有效地獲取文本信息。文本主題分類的任務(wù)是依據(jù)主題分類體系，判別待分類文本所屬分類體系中的一個或多個類別。傳統(tǒng)基于機器學(xué)習(xí)的文本分類算法，需要人工預(yù)定義分類類別，標識類別語料，面對大規(guī)模文檔，人工人本過高，領(lǐng)域移植難，分類性能過度依賴人工。
　

2、　本文著眼于構(gòu)建一套針對大規(guī)模文檔的文本主題自動分類體系，能夠自動實現(xiàn)對大規(guī)模文檔的主題挖掘和分類體系構(gòu)建，高效的實現(xiàn)對文本主題的自動分類。
　　LDA主題模型是一種無監(jiān)督文本主題挖掘模型，能夠?qū)崿F(xiàn)對文本主題的自動挖掘。LDA自動挖掘的結(jié)果Topic中存在部分噪聲 Topic，其高頻詞通常由隨機詞、通用詞組成，不具備主題代表性。采用信息熵、表征詞覆蓋率、表征詞方差、Topic獨立性檢測等算法，能有效實現(xiàn)對噪聲 Topic的自動過濾

3、。由于語料本身的不平衡性以及分類類別數(shù)的影響，單個LDA模型并不能實現(xiàn)對文本主題的充分挖掘，不同分類粒度下 LDA主題挖掘結(jié)果Topic之間具備主題互補性。應(yīng)用多個不同分類粒度LDA模型能夠?qū)崿F(xiàn)對文本主題的完整挖掘，采用AP聚類算法對所有模型優(yōu)質(zhì)Topic進行聚類，結(jié)合IGP指標、BWP指標能夠自動確定最佳聚類類別數(shù)，從而實現(xiàn)多模型完備主題分類體系的構(gòu)建。依據(jù)多模型完備主題分類體系，采用多模型并發(fā)投票決策機制，有效擴展了文本主題、提升了