离散型随机变量的平均自信息量（熵）讲义(ppt 14页)

离散型随机变量的平均自信息量（熵）讲义内容提要：
离散型随机变量X有两个事件x1和x2，
P(X=x1)=p，P(X=x2)=1-p。
则X的平均自信息量（熵）为
H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。
观察H(X)（它是p的函数，图2.2.1给出了函数图象，该图象具有某种对称性），有
当p=0或p=1时，H(X)=0。（随机变量X退化为常数时，熵为0）
当0<p<1时，H(X)>0。p越靠近1/2， H(X)越大。 （X是真正的随机变量时，总有正的熵。随机性越大，熵越大）
当p=1/2时，H(X)达到最大。（随机变量X的随机性最大时，熵最大。特别如果底数a=2，则H(X)=1比特）
熵、条件熵、联合熵之间的关系：
（1）H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。（由定义容易证明）
（2）当X与Y相互独立时，H(Y|X)=H(Y)，因此此时H(XY)=H(X)+H(Y)。
…………
..............................