某離散無(wú)記憶信源符號(hào)集為,所對(duì)應(yīng)的概率分別為:0.4,0.2,0.1,0.1,0.07,0.05,0.05,0.02,0.01,碼符號(hào)集為{0,1,2,3}. 1)求信源的熵H(X)及信源剩余度γ; 2)對(duì)其進(jìn)行四元Huffman編碼; 3)求平均碼長(zhǎng),編碼效率η及編碼器輸出的信息傳輸率(碼率)R.
設(shè)有一離散信道,其信道矩陣為,求 (1)最佳概率分布? (2)當(dāng)P(x1)=0.7,P(x2)=0.3時(shí),求平均互信息I(X;Y)和信道疑義度H(X/Y); (3)輸入為等概分布時(shí),試寫(xiě)出一譯碼規(guī)則,使平均譯碼錯(cuò)誤率pE最小,并求此pE.
黑白氣象傳真圖的消息只有黑色和白色兩種,求: (1)黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為0.7.給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型,假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián),求熵X(H); (2)假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián),其依賴(lài)關(guān)系為:P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,P(黑/黑)=0.8,求其熵H2(X).