監(jiān)督學習的話題模型.pdf

1、話題模型(Topic model)是目前流行的一種圖模型(Graph model)的.其嚴格遵守貝葉斯概率框架,是一種完全的貝葉斯模型。話題模型作為一種產生式模型,具有非監(jiān)督學習,能夠利用大量的現(xiàn)有的互聯(lián)網數(shù)據,學出的話題易于人類理解,能夠發(fā)現(xiàn)文檔集中隱含的語義的特點。是一種良好的聚類和降維工具。然而對于將話題模型應用分類問題,由于其非監(jiān)督的特點,其學出來的話題并不一定有利于分類的進行,為此如何有效的加入監(jiān)督信息也成為了研究熱點。本研究

2、旨在探索更多加入監(jiān)督信息的方式。在本文之中,我們首先提出了一種用于多類分類的有監(jiān)督學習的上游話題模型,其能夠同時進行文檔建模和分類。較之現(xiàn)有的有監(jiān)督學習的話題模型,這個模型具有三個優(yōu)勢:1)類別是顯示的作為關于話題的分布來建模的,其相當于為每個文檔添加了一個非常強烈的先驗分布,2)每個文檔都明確的分解成對于類別而言的三種不同的組分,3)關于文檔類標的推理是非常稀疏的,而這種稀疏性對于文檔分類而言正是必須的。我們并將其應用與文本與圖像分類

3、。在隨后的章節(jié)中,我們針對上游模型無法有效利用類間信息的缺點,提出一個將產生概率和監(jiān)督學習信息聯(lián)合起來的叫做LogisticLDA的模型,其用符合原則的方式從數(shù)學上將一個產生式模型和一個判別模型集成起來。通過使用logistic normal分布來最大化關于文檔類標的后驗概率,我們的模型有效的將監(jiān)督學習信息集成進來以最大化話題空間的類間距離,同時仍舊享受文檔之間可交換性所帶來推理的容易性。在三個測驗樣例數(shù)據集上的實驗結果表明,我們的模型