基于大規(guī)模語料庫的中文同義詞抽取方法研究.pdf

1、隨著計(jì)算機(jī)的日益普及、因特網(wǎng)的迅猛發(fā)展,網(wǎng)上信息呈指數(shù)級(jí)增長。同時(shí),信息資源的共享度愈來愈高,給人們的日常生活帶來極大的便利。目前,人們每天面對大量的信息,如何從海量數(shù)據(jù)中提取有價(jià)值的信息,已經(jīng)成為信息技術(shù)領(lǐng)域研究的熱門課題。中文同義詞抽取是中文信息處理的基礎(chǔ)研究,在不同的應(yīng)用領(lǐng)域中發(fā)揮不同的作用。由于同義詞散布于海量信息中,為盡可能多地抽取同義詞,本文以大規(guī)模語料為研究對象。
　　互聯(lián)網(wǎng)新技術(shù)的不斷發(fā)展和信息的爆炸式增長,自然語

2、言處理和信息檢索等技術(shù)在信息的處理和獲取方面呈現(xiàn)愈加重要的作用,而同義詞又在各種自然語言處理和信息檢索應(yīng)用中有著重要的研究意義和應(yīng)用價(jià)值。基于此,本文提出兩種面向經(jīng)濟(jì)領(lǐng)域的字面相似與PageRank鏈接融合、點(diǎn)互信息(PointwiseMutualInformation,簡稱PMI)與潛在語義分析(LatentSemanticAnalysis,簡稱LSA)結(jié)合的同義詞方法,可從海量語料庫中獲取大量的同義詞集合。
　　字面相似與Pa

3、geRank鏈接融合方法建立在字面相似方法和PageRank鏈接方法基礎(chǔ)之上,充分利用了字面相似方法的構(gòu)詞特征和PageRank鏈接方法詞匯間語義的聯(lián)系。既考慮了兩個(gè)詞匯的匹配序、匹配度,又考慮了兩個(gè)詞匯之間的解釋與被解釋的鏈接關(guān)系。
　　點(diǎn)互信息與潛在語義分析結(jié)合方法是以互信息原理和潛在語義分析理論為基礎(chǔ),點(diǎn)互信息通過兩個(gè)詞匯之間的互信息,對多個(gè)詞匯間的互信息進(jìn)行簡單有效的估計(jì);潛在語義分析將計(jì)算機(jī)科學(xué)、數(shù)學(xué)、情報(bào)學(xué)的思想、技術(shù)

4、和手段結(jié)合起來,對詞匯的潛在含義進(jìn)行挖掘,根據(jù)兩個(gè)詞匯在語義上的關(guān)聯(lián),達(dá)到檢索結(jié)果的目的?；贚SA的同義詞抽取方法始于一個(gè)詞匯與文檔聯(lián)系的大規(guī)模矩陣,自動(dòng)地建造了一個(gè)語義空間,使得使用者能夠發(fā)現(xiàn)相關(guān)信息。只要在概念上與該文檔的主體思想聯(lián)系相一致,在語意空間中它們?nèi)匀痪o靠在該文檔附近。因此詞匯和文檔在語義空間的位置可以用來作為一種主意指引,提取信息的過程就是利用提問式中的關(guān)鍵詞來識(shí)別空間的一個(gè)點(diǎn),在這個(gè)點(diǎn)附近的文檔按詞匯向量與文檔向量之