基于潛在語義對偶空間的跨語言文本分類研究.pdf

1、據(jù)統(tǒng)計，互聯(lián)網(wǎng)上在線發(fā)布的網(wǎng)頁早已達到億數(shù)量級，并以每天百萬頁的速度在增長。用戶在需要克服語言障礙的同時，如何準確地在Internet這樣一個開放式的數(shù)據(jù)庫中找到相關信息，變得越來越困難。因此，利用計算機對大量的多語言文本信息進行自動分類和檢索已經(jīng)變得尤為的重要。
　　 在大規(guī)模文本處理中，分類主要用于文本的組織，尤其對于海量的文本信息資源。利用分類將相關的文本組織在一起，便于文本處理和發(fā)現(xiàn)新穎有效的知識模式。現(xiàn)如今網(wǎng)絡上各種語

2、言的網(wǎng)頁資源都非常豐富，跨語言的文本分類的出現(xiàn)使得人們可以更好的共享因特網(wǎng)上的多語言的信息資源。
　　 隨著網(wǎng)絡資源多語化趨勢的加快，跨語言文本分類技術得到不斷的發(fā)展。目前，跨語言研究主要有基于文獻翻譯、基于雙語辭典和基于語料庫等方法。
　　 文獻翻譯的方法所需處理時間長，計算量較大，加重了計算負荷和時間花銷。另外，機器翻譯的水平仍然較低，正確率還有待于提高，不能令人滿意。目前大多數(shù)研究都是基于雙語辭典和譯詞選擇方法[2

3、]。而基于語料庫的方法是從大規(guī)模語料庫入手，從中抽取需要的信息，自動構建與應用相關的翻譯技術[3]，這樣就能解決翻譯歧義、辭典覆蓋度不夠的問題。所以基于語料庫的潛在語義標引方法引入到了跨語言分類中。結果有較大提高，但需構造跨語言的詞間相似度矩陣，算法的空間和時間復雜度較大。
　　 本文采用基于語料庫的方法，應用統(tǒng)計學相關理論，研究基于潛在語義對偶空間的跨語言文本分類模型。運用偏最小二乘方法對文檔的特征矩陣提取潛在語義對，由此構建