基于early算法的藏文句法分析研究與實(shí)現(xiàn)

1、基于基于Early算法的藏文句法分析研究與實(shí)現(xiàn)算法的藏文句法分析研究與實(shí)現(xiàn)句法分析作為自然語(yǔ)言處理中的基礎(chǔ)性工作和關(guān)鍵技術(shù)，藏語(yǔ)句法分析的研究直接對(duì)進(jìn)一步研究語(yǔ)義分析、信息檢索語(yǔ)抽取、機(jī)器翻譯和自動(dòng)問(wèn)答系統(tǒng)等藏語(yǔ)自然語(yǔ)言處理領(lǐng)域具有重要意義[1]。由于藏語(yǔ)自然處理起步晚，發(fā)展緩慢，至今在藏語(yǔ)句法分析領(lǐng)域仍未取得突破性進(jìn)展。因此，藏語(yǔ)句法分析的研究和實(shí)現(xiàn)對(duì)藏語(yǔ)自然語(yǔ)言處理的發(fā)展頗具推進(jìn)作用和現(xiàn)實(shí)意義[2]。句法分析一般都依賴于某種語(yǔ)法體系

2、，本文句法分析以喬姆斯基（N.Chomskyv）上下文無(wú)關(guān)文法為基本語(yǔ)法規(guī)則[3]。上下文無(wú)關(guān)文法是程序設(shè)計(jì)語(yǔ)言所使用的語(yǔ)法。它的特點(diǎn)是同樣的字符串在不同的語(yǔ)境下，意思不變，即本文所研究的藏語(yǔ)句子皆為非歧義性句子。1藏語(yǔ)句法分析概述句法分析也被稱為句法剖析，就是利用語(yǔ)法規(guī)則和其他知識(shí)，將輸入句子中的詞與詞之間的線性次序轉(zhuǎn)化為一棵結(jié)構(gòu)化的語(yǔ)法樹。句法分析可以簡(jiǎn)單地分為基于統(tǒng)計(jì)方法和基于規(guī)則的方法兩大類，其中基于規(guī)則方法是利用所研究語(yǔ)言的語(yǔ)

3、法知識(shí)和語(yǔ)法規(guī)則，用形式化的模型來(lái)描寫語(yǔ)言內(nèi)在的句法規(guī)律。對(duì)于任意一個(gè)字符串，根據(jù)規(guī)則可以推導(dǎo)出這個(gè)字符串的句法結(jié)構(gòu)，根據(jù)句法結(jié)構(gòu)又可以判斷該字符串是否合法。而基于統(tǒng)計(jì)的方法是用概率統(tǒng)計(jì)的方底向上的分析算法，厄爾利算法用項(xiàng)目來(lái)表示已經(jīng)建成的完整或部分成分結(jié)構(gòu)。項(xiàng)目指在規(guī)則右部插入圓點(diǎn)的規(guī)則，圓點(diǎn)插入的部位，把規(guī)則的右部分為兩半，直觀上理解，左半部是輸入字符串已經(jīng)被該規(guī)則匹配好的，右半部是尚待匹配的[6]。為了更直觀反映出與待分析字符串的

4、哪些字符串匹配，厄爾利算法用字符間隔來(lái)記錄匹配字符串的起始點(diǎn)和結(jié)束點(diǎn)。厄爾利算法的字符間隔從0開始。軟件運(yùn)行截圖如圖4所示。3總結(jié)本文對(duì)藏語(yǔ)句子的結(jié)構(gòu)和語(yǔ)法規(guī)律進(jìn)行深入研究的基礎(chǔ)上，利用厄爾利（Earley）分析算法，對(duì)藏語(yǔ)句子進(jìn)行結(jié)構(gòu)分析，并通過(guò)計(jì)算機(jī)程序?qū)崿F(xiàn)藏語(yǔ)句子自動(dòng)分析推導(dǎo)和生成句法分析樹。為藏語(yǔ)句法分析的研究和藏語(yǔ)句法分析系統(tǒng)的開發(fā)提供了宏觀方法和具體做法。自然語(yǔ)言處理中藏語(yǔ)句法分析是其中的一個(gè)關(guān)鍵問(wèn)題也是我們面臨的瓶頸，仍需