問(wèn)答題

【計(jì)算題】

某信息源的符號(hào)集由A、B、C、D和E組成,舍每一符號(hào)獨(dú)立出現(xiàn),其出現(xiàn)概率分別為1/4,1/8,1/8,3/16,5/16。
試求:
(1)該信息源符號(hào)的平均信息量;
(2)要想獲得最大熵該信源應(yīng)滿足什么條件及最大熵為多少。

答案:

(1)平均信息量:

(2)獲得最大熵條件為各符號(hào)獨(dú)立等概;
此時(shí)最大熵為:

微信掃碼免費(fèi)搜題