第二章 信源与信息熵
离散信源的信息量 自信息量
条件自信息量
联合自信息量
单符号离散信源熵
熵的性质 1.非负性 2.对称性 3.确定性 4.扩展性 5.连续性
二元联合信源的共熵与条件熵 二元联合信源的共熵
二元联合信源的条件熵
独立熵、联合熵与条件熵的关系
独立熵、联合熵与条件熵的物理意义
离散无记忆信源N次扩展信源
离散信道的平均交互信息量 离散信道三种描述方法 1.概率空间描述 2.转移矩阵描述 3.图示法描述
离散信道的互信息量 互信息量
性质
1.互易性-对称性
2.
3.互信息量可正可负
4.任何两个事件之间的互信息不可能大于其中任何一个事件的自信息量 5.
离散信道的平均互信息量
平均互信息量与联合熵、独立熵的关系 一般关系
X 和Y 相互独立时
X 和Y 一一对应时
数据处理定理 信息不增性
连续信源的熵 连续信源
均匀分布：
高斯分布：
指数分布：
连续信源的最大熵定理
输出峰值受限时的最大熵（瞬时功率受限/幅度受限）： 当概率密度分布为均匀分布时，信源具有最大熵
输出平均功率受限时的最大熵：
当其概率密度函数为高斯分布时，具有最大熵
均值受限时的最大熵：
其输出信号幅度呈指数分布时连续信源X 具有最大熵值
信源的剩余度/多余度/冗余度
离散信源的剩余度/多余度/冗余度：
连续信源的剩余度/多余度/：
第三章 信道容量
离散无噪声信道的熵速率和信道容量 熵速率：
信道容量：
几种离散无噪声信道举例：
1、具有一一对应关系的无噪信道
2、具有扩展性能的无噪信道
3、具有归并性能的无噪信道
离散有噪声信道的熵速率和信道容量 接收熵速率：
信道容量：
连续信道中的熵速率与信道容量 连续无噪声信道的熵速率和信道容量 熵速率
信道容量
连续有噪声信道 熵速率
信道容量
第四章 信源编码
编码的定义
1、二元码/多元码 2、同价码 3、等长码 4、变长码
5、非奇异码/非奇异码 6、单义码(单义码)
7、非续长码(瞬时可译码/即时码)/续长码(非瞬时可译码/非即时码)
单义码存在定理（克劳夫特Kraft 不等式）
码树图
平均码字长度
编码定理
定长编码定理： 变长编码定理：
离散无记忆平稳信道的编码定理(香农第二定理)：
最佳变长编码 一、香农编码
二、范诺（费诺）编码
(1) 把原始信源的符号按概率从大到小重新排列。
(2) 将信源符号接概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。
(3) 将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又赋予两个组一个二进制符号“0”和“1”。
(4) 如此重复，直至每个组只剩下一个信源符号为止。 (4) 从左至右将分得的码元排列即得码字Wi。 三、霍夫曼（哈夫曼）编码
⑴ 将信源消息符号按其出现的概率大小依次排列 p(u1)≥p(u2)≥…≥ p(un)
⑵ 取两个概率最小的字母分别配以0 和1 两码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。
⑶ 对重排后的两个概率最小符号重复步骤⑵的过程。
⑷ 不断继续上述过程，直到最后两个符号配以0 和1 为止。
⑸ 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的霍夫曼编码码字。
第五章 理想通信系统
因篇幅问题不能全部显示，请点此查看更多更全内容