基于神經(jīng)網(wǎng)絡(luò)的中文分詞算法的研究.pdf

1、漢語書寫時(shí)是按句連寫,詞間無間隙,容易讓人在句子的理解上產(chǎn)生偏差,這就給查詢信息、機(jī)器翻譯等工作造成了很大的困難:造成不相關(guān)結(jié)果的返回、找不到相關(guān)文檔、翻譯不準(zhǔn)確等。所以為了解決這些問題就要對(duì)句中的詞語進(jìn)行精確的切分。在對(duì)日常交流及其報(bào)刊雜志中所出現(xiàn)的各類語言現(xiàn)象進(jìn)行深入分析研究后,本文對(duì)日常生活常見的典型歧義中所蘊(yùn)含的語法現(xiàn)象進(jìn)行了歸納總結(jié),建立了供詞性編碼使用的詞性代碼庫。以此為基礎(chǔ),利用神經(jīng)網(wǎng)絡(luò)的自組織、自學(xué)習(xí)的能力,達(dá)到對(duì)不同規(guī)

2、則歧義字段的精確切分。在樣本的選取上,本文所選樣本空間基本囊括了歧義字段的各典型類型。樣本訓(xùn)練前,先把字段中所包含的語法規(guī)則轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)能夠接受的數(shù)據(jù)形式,將字段中的單詞依詞性代碼庫分別進(jìn)行編碼;在對(duì)輸出結(jié)果所代表的含義進(jìn)行解釋時(shí),從切分的表示方式上,以大量訓(xùn)練所得的輸出結(jié)點(diǎn)值為依據(jù)對(duì)切分點(diǎn)進(jìn)行判斷。從而將字、詞或抽象語法規(guī)則通過代碼的表示方式與輸入神經(jīng)元對(duì)應(yīng),使切分方式與輸出神經(jīng)元相對(duì)應(yīng),找到了一個(gè)輸入、輸出邏輯概念到輸入、輸出模式