某信息源的符號(hào)集由A、B、C、D和E組成,舍每一符號(hào)獨(dú)立出現(xiàn),其出現(xiàn)概率分別為1/4,1/8,1/8,3/16,5/16。 試求: (1)該信息源符號(hào)的平均信息量; (2)要想獲得最大熵該信源應(yīng)滿足什么條件及最大熵為多少。
(1)平均信息量: (2)獲得最大熵條件為各符號(hào)獨(dú)立等概; 此時(shí)最大熵為:
每個(gè)符號(hào)的平均信息量為: 該信息源的平均信息速率為:
某信源集包含32個(gè)符號(hào),各符號(hào)等概出現(xiàn),且相互統(tǒng)計(jì)獨(dú)立?,F(xiàn)將該信源發(fā)送的一系列符號(hào)通過一帶寬為4kHz的信道進(jìn)行傳輸,要求信道的信噪比不小于26dB。 試求: (1)信道容量; (2)無差錯(cuò)傳輸時(shí)的最高符號(hào)速率。