西南交通大学信息论与编码课程资料
资源文件列表:

信息论与编码A_第1章绪论.pdf 2.66MB
信息论与编码A_第2章信息的度量.pdf 4.47MB
信息论与编码A_第4章无失真信源编码.pdf 2.76MB
信息论与编码A_第5章有失真信源编码.pdf 1.43MB
信息论与编码A_第6章信道编码概述.pdf 2.55MB
信息论与编码A_第7章线性分组码.pdf 1.83MB
本2024_信息论与编码A_第3章信道容量.pdf 3.91MB
资源介绍:
西南交通大学信息论与编码课程上课PPT
1
信息论与编码
Information and Coding Theory
西南交通大学

2
第2章 信息的度量
2.1 信源的数学模型及分类
2.2 离散信源的熵
2.3 离散信源序列的熵
2.4 连续信源的互信息和微分熵
2.5 信源的冗余度

3
2.1 信源的数学模型及分类
l 消息
由符号、文字、数字、语言、音符、图片、图像等能够被人们感
知器官所感知的形式组成的序列。
l 信息
信息是包含在消息中的内容和意义,是通信系统传输的本质。
l 信号
把消息变换成适合信道传输的物理量,这种物理量称为信号。如
电信号、光信号、声信号、生物信号等。
l 三者关系
通信系统传输的是信号,信号携带着消息,消息中包含着信息。

4
l 信源
信源输出的消息用m表示。全体符号称为(语言的)
符号集或字母集.
信源输出的消息m是一
个随机变 量!
2.1 信源的数学模型及分类

5
l 按照信源发出的时间和消息的分布分类
u离散信源:信源发出消息的时间与消息的表示形
式都是离散的。
如:计算机输出的代码、文稿、人写的书信等
u连续信源:信源发出消息的时间与消息的表示形
式都是连续的。
如:语音、图像、图形等
l 按照信源发出符号之间的关系分类
u无记忆信源
不同时刻发出的消息是独立的
u有记忆信源
不同时刻发出的消息是相互依赖的
2.1 信源的数学模型及分类