基于詞聯(lián)接的自然語言處理技術(shù)及其應(yīng)用研究.pdf

1、隨著人類社會信息化程度和計(jì)算機(jī)軟硬件水平的提高，自然語言處理(NaturalLanguageProcessing，簡稱NLP)技術(shù)逐漸成為計(jì)算機(jī)應(yīng)用和人工智能研究的熱點(diǎn)，其基本技術(shù)目標(biāo)是讓計(jì)算機(jī)具有類似人的語言智能，例如能夠象人一樣聽、說、讀、寫。圍繞NLP技術(shù)逐漸形成了一個(gè)專門的學(xué)科——計(jì)算語言學(xué)。該學(xué)科屬于交叉學(xué)科，涉及到語言學(xué)、心理學(xué)、心理語言學(xué)、腦科學(xué)、計(jì)算機(jī)科學(xué)、哲學(xué)、邏輯學(xué)、人工智能、數(shù)學(xué)、信息論、文學(xué)、美學(xué)等諸多學(xué)科或領(lǐng)域

2、。從上個(gè)世紀(jì)中葉以來，雖然不同學(xué)科和領(lǐng)域的無數(shù)研究者投入了大量的研究資源，探索出了一些有效的技術(shù)，取得了一定的成果，但離實(shí)現(xiàn)基本技術(shù)目標(biāo)還顯得非常遙遠(yuǎn)。值此世紀(jì)之初，有必要從更高、更深的層面重新審視NLP技術(shù)的研究背景、目標(biāo)和途徑，在繼承現(xiàn)有技術(shù)的基礎(chǔ)上大膽創(chuàng)新，探索出切實(shí)可行、面向未來的新技術(shù)。本文在這個(gè)方向上作出了努力，以拋磚引玉，促進(jìn)NLP技術(shù)的發(fā)展。 在國家自然科學(xué)基金項(xiàng)目“計(jì)算機(jī)輔助文學(xué)藝術(shù)創(chuàng)作研究——詩詞曲聯(lián)”(60

3、173060，2002～2004)的支持下，在深入分析NLP技術(shù)背景的基礎(chǔ)上，本文提出并初步構(gòu)建了基于詞聯(lián)接的NLP技術(shù)(TermConnectionTechniqueforNLP，簡稱TCT)，并應(yīng)用到詩詞語言處理系統(tǒng)(PoetryProcessingSystem，簡稱PPS)中。理論研究和應(yīng)用研究的結(jié)果表明，TCT是一種繼承并發(fā)展已有技術(shù)、高度綜合與包容、操作性強(qiáng)、有效的NLP技術(shù)。本文的主要內(nèi)容包括： 第1章介紹了TCT的

4、技術(shù)背景，包括NLP的根本難點(diǎn)、現(xiàn)階段NLP的根本目標(biāo)、NLP技術(shù)的發(fā)展階段和趨勢，提出了一系列較為獨(dú)特的觀點(diǎn)。NLP的根本難點(diǎn)在于自然語言具有認(rèn)識性和不確定性，現(xiàn)階段目標(biāo)應(yīng)是受限語言智能仿知技術(shù)。這一目標(biāo)是在分析了NLP根本難點(diǎn)、現(xiàn)階段的計(jì)算機(jī)技術(shù)、已有人工智能和NLP研究成果的基礎(chǔ)上提出來的，因此是切實(shí)可行的。NLP技術(shù)分為技術(shù)探索、規(guī)則技術(shù)興起、統(tǒng)計(jì)技術(shù)興起三個(gè)階段，主要發(fā)展趨勢是實(shí)例技術(shù)可能成為主流技術(shù)，規(guī)則技術(shù)和統(tǒng)計(jì)技術(shù)可能成

5、為輔助技術(shù)。 第2章介紹了TCT的基本原理、技術(shù)結(jié)構(gòu)、哲學(xué)基礎(chǔ)、理論基礎(chǔ)、方法基礎(chǔ)，從宏觀上初步構(gòu)建了TCT。TCT的基本原理是基于受限自然語言環(huán)境建立動態(tài)語料庫，基于動態(tài)語料庫建立詞聯(lián)接實(shí)例知識庫和高級知識庫，基于知識庫進(jìn)行受限自然語言處理。TCT具有完整、簡明、合理的技術(shù)結(jié)構(gòu)，包括：TCT知識表示技術(shù)(TCTR)、TCT知識獲取技術(shù)(TCTO)、TCT語言分析技術(shù)(TCTA)、TCT語言評價(jià)技術(shù)(TCTE)、TCT語言生成技

6、術(shù)(TCTC)、TCT語言修改技術(shù)(TCTM)、TCT語言輸入輸出技術(shù)(TCTIO)。TCT的哲學(xué)基礎(chǔ)是易學(xué)，這是本學(xué)位論文最具特色的地方。易學(xué)是中國古代哲學(xué)的精華，具有樸素的唯物辯證思想和系統(tǒng)觀，對于認(rèn)識和認(rèn)識建模都具有很強(qiáng)的指導(dǎo)作用。TCT的理論基礎(chǔ)是神經(jīng)認(rèn)知語言學(xué)，該理論強(qiáng)調(diào)語言理論不悖于大腦神經(jīng)事實(shí)，綜合了聯(lián)接主義和符號主義等理論的長處，是一種面向NLP的語言學(xué)理論。TCT的方法基礎(chǔ)是基于實(shí)例的知識加工，以實(shí)例為基礎(chǔ)，可以更好地