信息量和信息熵

    核心思想：信息是用来消除不确定性的。事件发生的可能性越小（越意外），它发生时带来的信息量就越大。

1. 信息量

定义： 一个离散事件 x 发生所带来的信息量 I(x)，定义为该事件发生概率 p(x) 的倒数的对数（通常以2为底）。

公式： I(x) = log₂(1 / p(x)) = -log₂(p(x))

单位： 比特 (bit)，因为底数是2。如果用自然对数（底数e），单位是奈特(nat)；如果用10为底，单位是哈特莱(hartley)。比特是最常用的。

直观解释

    概率越低，信息量越大： 想象有人告诉你“明天太阳会从东方升起”。这个事件概率 p(日出) ≈ 1，所以 I(日出) = -log₂(1) = 0 比特。这几乎没有带来任何新信息，因为你早就确定了。相反，如果有人告诉你“明天会下雪”（假设你在一个很少下雪的地方），这个事件概率 p(下雪) 很小，比如 0.01，那么 I(下雪) = -log₂(0.01) ≈ 6.64 比特。这个信息量很大，因为它消除了巨大的不确定性（明天不下雪的可能性是99%）。

对数的作用

    确保信息量是可加的。如果两个独立事件 x 和 y 同时发生，它们带来的总信息量 I(x, y) = I(x) + I(y)。因为 p(x, y) = p(x)*p(y)，所以 I(x, y) = -log₂(p(x)p(y)) = -log₂(p(x)) - log₂(p(y)) = I(x) + I(y)。将概率的乘法关系转化为信息量的加法关系，这在数学处理上非常方便。将 [0, 1] 的概率范围映射到 [0, ∞) 的信息量范围。

2. 信息熵

    信息量描述的是单个事件带来的信息。信息熵描述的是整个信源（一个能产生离散消息的系统或随机变量）的平均不确定性或平均信息量。 

定义： 离散随机变量 X，有有限个可能的取值 {x₁, x₂, ..., xn}，对应的概率分布为 P(X) = {p(x₁), p(x₂), ..., p(xn)}，且满足 Σ p(xi) = 1。随机变量 X 的信息熵 H(X) 定义为 X 所有可能取值的信息量 I(xi) 在其概率分布 P(X) 上的期望值（平均值）。

公式： H(X) = E[I(X)] = Σ [p(xi) * I(xi)] = Σ [p(xi) * (-log₂(p(xi)))] = - Σ [p(xi) * log₂(p(xi))] (求和范围 i = 1 到 n)

单位： 比特/符号 (bits per symbol)（或奈特/符号、哈特莱/符号）。

直观解释

    熵 H(X) 度量了在观察到 X 的实际取值之前，我们对 X 取值结果的平均不确定程度。熵越大，意味着信源的平均不确定性越高，每次观察能带来的平均信息量也越大。 熵 H(X) 也代表了信源 X 每产生一个符号（或发生一次事件）所能提供的平均信息量。它是信息量的概率加权平均。

    概率分布越均匀，熵越大： 想象两个信源：信源A（均匀硬币）： P(正面)=0.5, P(反面)=0.5。

    H(A) = - [0.5 * log₂(0.5) + 0.5 * log₂(0.5)] = - [0.5 * (-1) + 0.5 * (-1)] = - [-0.5 - 0.5] = - [-1] = 1 比特。

    信源B（作弊硬币）： P(正面)=0.9, P(反面)=0.1。

    H(B) = - [0.9 * log₂(0.9) + 0.1 * log₂(0.1)] ≈ - [0.9 * (-0.152) + 0.1 * (-3.322)] ≈ - [-0.1368 - 0.3322] ≈ - [-0.469] ≈ 0.469 比特。

    信源A完全公平，结果最难预测，不确定性最高，熵最大（1比特）。信源B高度偏向正面，结果更容易预测（猜正面大概率猜对），不确定性较低，熵较小（0.469比特）。

    概率分布越集中（越确定），熵越小： 极端情况，如果 P(xk)=1 (某个事件必然发生)，其他 p(xi)=0 (i≠k)，则 H(X) = - [1 * log₂(1) + 0 * log₂(0) + ...] = -[1 * 0 + 0 * ...] = 0 比特。完全没有不确定性。 

    编码效率的极限： 熵具有极其重要的实际意义。香农的无噪声编码定理指出：熵 H(X) 是离散无记忆信源 X 进行无损压缩时，平均每个符号所需的最短码长的理论下限。 也就是说，无论使用多么精巧的编码方案（如霍夫曼编码），压缩后平均每个符号的比特数不可能低于 H(X) 比特。在上面硬币的例子中，信源A（熵1比特）无法被压缩到平均每符号少于1比特（公平硬币的结果确实需要1比特来表示，正面=0，反面=1）。信源B（熵≈0.469比特）理论上可以用小于1比特/符号的平均长度进行无损编码（例如，利用其偏向性，用更短的码字表示更常出现的正面）。

从离散消息角度总结

    单个消息（事件）： 事件 x 发生的信息量 I(x) = -log₂(p(x))。它量化了该事件发生所消除的不确定性。概率越小，信息量越大。

    信源（消息产生器）： 离散随机变量 X（代表信源）的信息熵 H(X) = - Σ p(xi) log₂(p(xi))。它量化了整个信源的平均不确定性或平均每产生一个符号（消息）所能提供的平均信息量。 

    关键关系： 熵 H(X) 是信息量 I(x) 在信源所有可能符号上的期望值（平均值）。 

    核心意义： 信息熵给出了对离散信源产生的消息进行最有效表示（无损压缩）所需的最小平均比特数。它是数据压缩的理论极限。

    依赖因素： 信息熵只依赖于信源符号的概率分布 P(X)，与符号本身的具体含义无关。