設(shè)信源通過一干擾信道,接收符號為Y={b1,b2},信道傳遞矩陣為
,求
(1)信源X中事件a1和a2分別含有的自信息量。
(2)收到消息bj(j=1,2)后,獲得的關(guān)于ai(i=1,2)的信息量。
(3)信源X和信宿Y的信息熵。
(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)。
(5)接收到信息Y后獲得的平均互信息量。
黑白氣象傳真圖的消息只有黑色和白色兩種,即信源X={黑,白}。設(shè)黑色出現(xiàn)的概率為p(黑)=0.3,白色的出現(xiàn)概率p(白)=0.7。
(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián),求熵H(X);
(2)假設(shè)消息前后有關(guān)聯(lián),其依賴關(guān)系為p(白/白)=0.9,p(黑/白)=0.1,p(白/黑)=0.2,p(黑/黑)=0.8,求此一階馬爾可夫信源的熵H2(X);
(3)分別求上述兩種信源的剩余度,比較H(X)和H2(X)的大小,并說明其物理意義。
一階馬爾可夫信源的狀態(tài)圖如圖所示。信源X的符號集為{0,1,2}。
(1)求平穩(wěn)后信源的概率分布;
(2)求信源的熵H∞。
(1)由圖得一階馬爾可夫信源的狀態(tài)為s1=0,s2=1,s3=2。
對應(yīng)的一步轉(zhuǎn)移概率矩陣為