漢語的熵及其在語言本體研究中的應(yīng)用.pdf

1、語言是信息的載體，具有信息屬性。隨著社會信息化程度的不斷提高，運用信息理論和方法研究語言的熵成為語言信息研究的重要任務(wù)。目前關(guān)于漢語信息熵的研究主要集中在漢語的信息化，卻極少發(fā)現(xiàn)有人運用信息理論來研究語言本體。本文從語言的信息屬性出發(fā)，系統(tǒng)梳理了信息學(xué)、語言學(xué)、數(shù)學(xué)、教育學(xué)、計算機科學(xué)等專業(yè)領(lǐng)域內(nèi)關(guān)于漢語漢字信息熵研究的理論、觀點和方法，結(jié)合語料庫語言學(xué)闡述了書面漢語的“字熵”、“詞熵”等概念和計算方法。運用書面漢語“字熵”“詞熵”的原

2、理和算法，在經(jīng)過分詞標(biāo)注詞性等“熟語料庫”支持下，分別對介詞的語法化、文本風(fēng)格比較、紅樓夢作者考證等問題進行了“典型案例分析”，為漢語本體和應(yīng)用研究提供了“信息熵”視角的研究范式。并從信息視角，驗證了齊普夫分布的普遍性，對于縮略、簡稱以及詞匯雙音化等語言演化規(guī)律都將具有令人信服的解釋力。全文共分為五章:第一章導(dǎo)言;第二章漢字的熵及其在漢語本體研究中的應(yīng)用;第三章漢語的詞熵及其在漢語本體研究中的應(yīng)用;第四章漢語的熵和齊普夫定律;第五章結(jié)論

3、。
　　 第一章從語言的信息屬性入手，對利用熵理論來研究語言本體的可行性、研究的意義、歷史、現(xiàn)狀和存在的問題做了綜述;介紹了本研究的指導(dǎo)理論及研究方法，并對研究過程中的一些問題做了必要的說明。
　　 第二章首先總結(jié)了前人關(guān)于漢字熵研究的成果和結(jié)論，論述了漢字平均熵的測定方法和歷史，對字頻和熵兩種方法做了比較，結(jié)合不同類型的漢語抽樣語料進行漢字熵的定量分析，得出了語料的平均字熵，并結(jié)合古龍、金庸的武俠作品風(fēng)格的分析，提出了

4、漢字熵在語言本體研究中的應(yīng)用方法。
　　 第三章是本研究的重點和中心。詞是語言中最小的可以自由運用的單位。由于書面漢語以漢字為書寫單位，因此，以往都以漢字熵的研究結(jié)論代替了漢語的信息熵。本章首先區(qū)分了漢字熵與漢語熵的不同，給出了詞熵的測定數(shù)值，并在此基礎(chǔ)上，討論了漢語的冗余度，對詞熵在漢語本體研究中的應(yīng)用進行了重點闡述，對詞熵在語法化研究、不同語體之間的比較、文本歷時比較、計算風(fēng)格學(xué)等領(lǐng)域中的應(yīng)用，結(jié)合大量的語料庫給出了實證。<