有限精度信息熵的性質(zhì)及其應(yīng)用的研究.pdf

1、信息論是人們?cè)陂L(zhǎng)期通信工程的實(shí)踐中，由通信技術(shù)與概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐步發(fā)展起來(lái)的一門學(xué)科。自1948年Shannon發(fā)表了著名的論文“通信的數(shù)學(xué)原理”為信息論奠定了理論基礎(chǔ)以來(lái)，信息論作為通信系統(tǒng)的理論基礎(chǔ)，指導(dǎo)著通信理論的發(fā)展。以通信理論為核心的經(jīng)典信息論所涉及的內(nèi)容早已超越了狹義的通信工程范疇，進(jìn)入了新興的信息科學(xué)領(lǐng)域。
　　 信息熵是信息理論的基本概念之一，并有離散信息熵和連續(xù)信息熵之分。離散信息熵具有良好

2、的性質(zhì)，如非負(fù)性、量綱一致性、坐標(biāo)變換不變性等；但是連續(xù)信息熵是發(fā)散的，而去除了無(wú)限大項(xiàng)所得到的微分熵，則不具有離散信息熵的良好性質(zhì)。針對(duì)微分熵的不足，許多學(xué)者作出了改進(jìn)工作。有限精度的信息熵是改進(jìn)微分熵的一種嘗試。它消除了微分熵的不足并實(shí)現(xiàn)了連續(xù)與離散信息熵的統(tǒng)一。
　　 本文首先介紹了鑒別信息、基于方差的連續(xù)信息熵、Renyi熵、Kolmogorov復(fù)雜度和加權(quán)熵等對(duì)Shannon信息熵的改進(jìn)工作。接著，介紹了有限精度函數(shù)理

3、論以及有限精度的概率和信息熵的定義。進(jìn)而，研究了有限精度信息熵的基本性質(zhì)以及有限精度測(cè)量信息系統(tǒng)中的數(shù)學(xué)建模，導(dǎo)出了平均互信息的表達(dá)式并揭示了有限精度的信息傳輸理論的基本內(nèi)涵。最后，討論了有限精度信息熵與不確定性分析理論如證據(jù)理論、模糊集合理論和可能性理論中對(duì)不確定性度量的區(qū)別與聯(lián)系。闡述了有限精度的概率與信息理論中的概率關(guān)聯(lián)和非概率關(guān)聯(lián)與其它不確定性理論中的沖突和非特異性之間的某種對(duì)應(yīng)關(guān)系。
　　 本文的結(jié)果將為基于概率的經(jīng)典