第8章網(wǎng)絡(luò)信息理論簡介

1、8 網(wǎng)絡(luò)信息理論簡介,8.2 網(wǎng)絡(luò)信道的分類8.3 網(wǎng)絡(luò)信道的信道容量域離散多址接入信道高斯多址接入信道8.4 網(wǎng)絡(luò)中相關(guān)信源的信源編碼相關(guān)信源編碼具有邊信息的信源編碼,8 網(wǎng)絡(luò)信息理論簡介,單用戶通信系統(tǒng)：只有一個(gè)輸入信源和一個(gè)輸出信源，單向通信。多用戶通信系統(tǒng)：信道的輸入端和輸出端涉及到兩個(gè)或兩個(gè)以上的信源和信宿，雙向通信。網(wǎng)絡(luò)信息論：還有許多未解決的問題，至今沒有一套完整的網(wǎng)絡(luò)信息理論。即使將來能夠發(fā)現(xiàn)，也可能

2、因?yàn)樘珡?fù)雜而不能實(shí)現(xiàn)。研究的目的在于可告訴通信設(shè)計(jì)者距離網(wǎng)絡(luò)最優(yōu)化多近，也可啟發(fā)設(shè)計(jì)者獲得提高通信性能的途徑。,網(wǎng)絡(luò)信息論研究的主要內(nèi)容：網(wǎng)絡(luò)信道的信道容量。這種信道的容量不能簡單地用一實(shí)數(shù)表示，可傳輸?shù)男畔⒙室膊荒苡谜龑?shí)軸上一個(gè)區(qū)間來代表，而需用多維空間中的一個(gè)區(qū)域來表示。網(wǎng)絡(luò)信道編碼定理。即證明在上述網(wǎng)絡(luò)信道容量范圍內(nèi)，一定有一種編碼方式，能夠可靠地傳輸信息。相關(guān)信源的信源編碼問題。研究相互關(guān)聯(lián)的多個(gè)信源進(jìn)行無失真和有失真編碼

3、時(shí)的可達(dá)速率區(qū)域。,8 網(wǎng)絡(luò)信息理論簡介,（1）多址接入信道(MAC)： 多個(gè)信道輸入信號(hào)，可供多個(gè)信源同時(shí)接入，但只有一個(gè)信道輸出信號(hào)。 如衛(wèi)星上行、移動(dòng)上行、光纖上行；CDMA、TDMA,8.2 網(wǎng)絡(luò)信道的分類,(2)廣播信道：單一輸入端口和多個(gè)輸出端口與一般的廣播概念不同的是，各信宿要接收的信息并不一定相同。如衛(wèi)星下行、CATV、移動(dòng)下行,8.2 網(wǎng)絡(luò)信道的分類,（3）中繼信道：可以看成廣播信道和多

4、址接入信道的組合，是一對(duì)用戶之間經(jīng)過多種途徑中轉(zhuǎn)所進(jìn)行的單向通信。一個(gè)輸入信號(hào)和一個(gè)輸出信號(hào)。如中繼微波接力系統(tǒng)、一對(duì)地面站可經(jīng)一個(gè)或多個(gè)衛(wèi)星中轉(zhuǎn)或者經(jīng)地面通信轉(zhuǎn)接而實(shí)現(xiàn)單向通信。,8.2 網(wǎng)絡(luò)信道的分類,信源,中繼點(diǎn),信道,譯碼器,,,,,,,,X,Y1,X1,Y,,信道,信道,,,,,（4）雙向信道：在同一端既有發(fā)送，又有接收許多實(shí)用信道本質(zhì)上都是雙向信道。,8.2 網(wǎng)絡(luò)信道的分類,,（5）多端網(wǎng)絡(luò)：由多個(gè)信源和多個(gè)信宿經(jīng)過

5、多個(gè)信道組成 ，一般要用圖論方法研究。,8.2 網(wǎng)絡(luò)信道的分類,為了信息的可靠傳輸，各發(fā)送者不但要克服信道噪聲，而且還要克服各發(fā)送端彼此之間的串?dāng)_。,8.3 網(wǎng)絡(luò)信道的信道容量域,8.3.1離散多址接入信道,使 Pe →0的速率對(duì) (R1,R2) 稱為可達(dá)速率對(duì)，所有可達(dá)速率對(duì)的集合稱為多址信道的信道容量域。定理： 二址接入信道 [X1×X2,P(y|x1x2),Y]的容量區(qū)域，由滿足下述凸殼的閉包給定其中

6、 , C(P1,P2) 是在乘積空間X1×X2上，對(duì)所有可能的輸入概率分布求得的可達(dá)速率對(duì)(R1,R2)的集合。,,,8.3.1 離散多址接入信道,8.3.1 離散多址接入信道,B點(diǎn)：發(fā)送者2不傳送任何信息時(shí)，發(fā)送者1可傳送的最大信息率。此時(shí)發(fā)送者 1 可傳送的信息率 大于單用戶的情況,,8.3.1 離散多址接入信道,D 點(diǎn)

7、：發(fā)送者1以最大的信息傳輸率發(fā)送時(shí)，發(fā)送者2能夠發(fā)送的最大信息傳輸率。該值是在信道中將X2傳送到Y(jié)，而把X1看作為噪聲而求得的。此時(shí)，相當(dāng)于X2以信息率 I(X2;Y) 在單用戶信道中傳輸?shù)慕Y(jié)果。因?yàn)?I(X2;Y)=I(X1,X2;Y)-I(X1;Y/X2)，所以，當(dāng)接收端知道X2的碼字也在發(fā)送時(shí)，就要在信道傳輸?shù)慕Y(jié)果中將X2的碼字“減”出來。區(qū)域中的點(diǎn) A，C和B，D點(diǎn)有相似的含義。,當(dāng)給定某個(gè)輸入分布

8、 ，可得某區(qū)域C(P1 , P2)；不同的輸入分布可得不同的區(qū)域。因此二址接入信道的容量區(qū)是所有可能C(P1 , P2) 的凸閉包，是一個(gè)多角形的凸包。,,,8.3.1 離散多址接入信道,上述結(jié)論很容易推廣到 T 個(gè)獨(dú)立發(fā)送端的一般情況。已知條件概率 P(y/x1x2…xT)，此時(shí)各發(fā)送端可達(dá)速率范圍為,,8.3.1 離散多址接入信道,例8.1 二址獨(dú)立的二元對(duì)稱信道的容量區(qū)域，發(fā)送者X1和發(fā)送者X2，接收

9、端Y。,8.3.1 離散多址接入信道,計(jì)算得C1=1－H(p1), 此時(shí)p1(0)=p1(1)=1/2, p2(0)+p2(1)=1；C2=1－H(p2)，此時(shí)p2(0)=p2(1)=1/2, p1(0)+p1(1)=1 。因?yàn)檫@兩信道是互相獨(dú)立的，沒有彼此干擾，所以C12=2-H(p1)-H(p2)，此時(shí)p1(0)=p1(1)=1/2, p2(0)=p2(1)=1/2。,例8.1解：,例8.2 二址接入二元和信道 Y=X1 +

10、X2,,,,,各信源來的信號(hào)在接收端相加，并受加性高斯噪聲 ( 均值為零，方差為 ) 的干擾。信道輸出二址(m=2)時(shí)，X1、X2與Z相互獨(dú)立,8.3.2 高斯多址接入信道,,信號(hào)平均功率受限：可達(dá)速率區(qū)是滿足下式的凸閉包：,8.3.2 高斯多址接入信道,8.3.2 高斯多址接入信道,在平均功率受限的情況下，正態(tài)分布時(shí)熵最大即只有當(dāng)輸入 ，并

11、且互相獨(dú)立時(shí)上式才能達(dá)到極大值。,8.3.2 高斯多址接入信道,任意分布，,8.3.2 高斯多址接入信道,高斯二址接入信道的可達(dá)容量域,8.3.2 高斯多址接入信道,凸五邊形：B點(diǎn)是發(fā)送者 1 能傳送的最大信息傳輸率C1；D點(diǎn)是發(fā)送者1傳送最大信息率C1情況下，發(fā)送者2所能傳送的信息率C12－C1。這時(shí)發(fā)送者1被看成噪聲，計(jì)算輸出Y與X2之間的互信息得,8.3.2 高斯多址接入信道,在高斯信道下，可把譯碼考慮成兩步：接收端將發(fā)送端

12、1看成噪聲的一部分，先將發(fā)送端2的碼字譯碼出來。若 譯碼錯(cuò)誤概率可達(dá)任意小。將已成功譯出的發(fā)送端2“減”去，若 則發(fā)送端 1 的碼字能成功譯出。所以，容量區(qū)域中各個(gè)角點(diǎn)的速率對(duì)是可達(dá)的。,,8.3.2 高斯多址接入信道,在許多實(shí)際情況中，常采用時(shí)分多路通信方式。但該方式不是最佳的方案。若兩發(fā)送端各占一半的傳送時(shí)間，可達(dá)容量區(qū)域是 AB 連線所圍的區(qū)域。,8.3.2 高斯多址接入信道,若設(shè)在總傳

13、送時(shí)間 T 內(nèi)，QT用來傳送X1，(1- Q)T 用來傳送X2，其中 。那么在傳送 X1時(shí)， ；在傳送 X2 時(shí)， 。若保持平均功率不變，則傳送 X1 時(shí)功率可以提高到 ，而 X2功率可提高到 。可得,,,8.3.2 高斯多址接入信道,,,8.3.2 高斯多址接入信道,Q 不同時(shí)，得到不同的 (R1,R2)，即曲線 AE

14、B 所決定的區(qū)域。顯然，除了 Q =1，Q=0 和 Q = 即 B,A,E 三點(diǎn)外，其它情況都在容量界線 ( 截角矩形 ) 之下?？梢娫跁r(shí)分方式下，C,D 對(duì)應(yīng)的速率對(duì)是達(dá)不到的。,對(duì)于頻分多路通信方式，每個(gè)發(fā)送者的傳輸速率依賴于所允許傳輸?shù)膸?。考慮信號(hào)功率分別為 PS1和PS2的二個(gè)發(fā)送端，所占帶寬為 W1和W2。這兩帶寬不重疊，且總帶寬 W=W1+W2。令Q =W1/W是發(fā)送者 1 所占

15、帶寬比，(1-Q)=W2/W是發(fā)送者 2 所占帶寬比，可達(dá)速率對(duì)是,,將Q和（1－Q）代入，可得,,改變W1和W2( 即 Q 不同時(shí) ) 的可達(dá)速率區(qū),在相同的平均功率約束下，時(shí)分多址和頻分多址可達(dá)到的信息傳輸速率均小于理論給出的容量域。但適當(dāng)設(shè)計(jì)時(shí)隙分配或帶寬分配的比例，時(shí)分多址和頻分多址都可使速率達(dá)到理論容量域所給的最大值，即E點(diǎn)。碼分多址技術(shù)中所有信道輸入信號(hào)都占用信道的全部帶寬和時(shí)間，各信號(hào)間不存在時(shí)隙分配或帶寬分配問題。因此

16、，碼分多址的可達(dá)速率域與理論容量域一致。在這一意義上，我們認(rèn)為碼分多址是比較理想的方式。,8.3.2 高斯多址接入信道,高斯多址接入信道,各占一半時(shí)間的時(shí)分多址Q比例的時(shí)分多址和頻分多址碼分多址,,8.4 網(wǎng)絡(luò)中相關(guān)信源的信源編碼,研究多個(gè)相關(guān)信源的編碼問題;在實(shí)際通信中，常常某個(gè)信宿收到來自不同源的編碼信息。各信源獨(dú)立：分別處理，單信源通信；各信源相關(guān)：各種相關(guān)信源編碼模型。,兩個(gè)信源和兩個(gè)譯碼器之間可有16種不同的聯(lián)接方式

17、,兩個(gè)相關(guān)信源編碼的最基本結(jié)構(gòu)：兩個(gè)信源均為離散無記憶信源。,采用一個(gè)編碼器：對(duì)于單個(gè)信源U進(jìn)行編碼，傳輸信息率需滿足R>H(U)，才能實(shí)現(xiàn)無失真編碼；對(duì)于兩個(gè)信源U1和U2聯(lián)合編碼，傳輸信息率需滿足R>H(U1,U2)，才能使譯碼錯(cuò)誤概率為任意小。,,采用二個(gè)獨(dú)立的編碼器：R1>H(U1), R2>H(U2)? R=R1+R2=H(U1)+H(U2)二個(gè)信源相關(guān)：R=?? R>H(

18、U1,U2),例8-4 設(shè)信源U0和U1相互獨(dú)立， 若U2=U0?U1，則 H(U1)=H(U2)=1 bit/sym H(U2/U1)=H(U0)=0.5 bit/sym因此，在已知X的情況下，要確定U2只需0.5 bit，而不需1 bit，因?yàn)閁1與U2有關(guān)聯(lián)性，已知U1時(shí)，已提供了一些關(guān)于U2的信息量，因此只需再獲得H(U2/U1)的信息量，就能完全確定U2。,邊信息,由此可見，編碼時(shí)只

19、需保證： R1 >H(U1)，R2>H(U2/U1)，R?H(U1)+H(U2/U1)=H(U1,U2)這種U1所能提供關(guān)于U2的信息，或U2所能提供關(guān)于U1的信息，稱為邊信息。,相關(guān)信源編碼定理(Slepian-Wolf)： 對(duì)于任意離散無記憶信源X1和X2，所有的可達(dá)速率對(duì)(R1,R2)滿足,相關(guān)信源編碼逆定理：如果速率對(duì)(R1,R2)不滿足上式，則無論n多大，平均譯碼錯(cuò)誤概率Pe>?。

20、,8.4.2 具有邊信息的信源編碼,若兩個(gè)信源U1和U2之間統(tǒng)計(jì)相關(guān)，且兩個(gè)信源之間有相互通信聯(lián)絡(luò)。由于有了邊信息(side information)，這樣協(xié)同編碼應(yīng)該比單獨(dú)編碼更有效。,具有邊信息信源編碼定理：信源U1以速率R1編碼，信源U2以速率R2編碼，對(duì)于離散無記憶信源U1，若譯碼器含有來自信源U2的邊信息，則當(dāng)且僅當(dāng)存在無失真信源編碼，使其譯碼錯(cuò)誤概率為任意小。其中 Z 為離散隨機(jī)變量，它使U1→U2→Z構(gòu)成馬氏鏈。,第8