基于支持向量機的一體化分詞聚類研究.pdf

1、本文研究的目的是建立一個統(tǒng)一的分詞，聚類，語義空間模型。我們使用了面向?qū)ο蟮姆椒?，有利于本系統(tǒng)的結(jié)構(gòu)的升級和修改。
　　 本文主要的工作由三部分組成：分詞，聚類，使用分詞、聚類的結(jié)果建立語義空間。分詞，聚類統(tǒng)一使用統(tǒng)計學(xué)習(xí)的方法進行處理。
　　 分詞技術(shù)是進行高級自然語言理解，檢索，等工作的前提。本文通過統(tǒng)計學(xué)習(xí)理論，著重研究在小樣本情況下的統(tǒng)計規(guī)律及學(xué)習(xí)方法性質(zhì)。它為機器學(xué)習(xí)問題建立了一個較好的理論框架，也應(yīng)用發(fā)展了一

2、種新的通用學(xué)習(xí)算法：支持向量機(SVM)。本文從支持向量機理論、方法和應(yīng)用結(jié)合的角度出發(fā)，研究了支持向量機在中文分詞中的應(yīng)用。
　　 然后對于分詞結(jié)果建立倒排索引的同時，進行詞聚類。這同樣也使用到了支持向量機。對于分詞時用到的統(tǒng)計信息可以在聚類時繼續(xù)使用，降低了程序的代價。這是一種提高效率的方法。
　　 最后，研究了語義空間建立的問題，使用分詞，聚類的結(jié)果，使用PLSI方法建立語義空間矩陣，對文章進行淺層次的理解。