数据压缩入门

20

｜

第

3

章

钓鱼就是这样一个真实的例子。设想你坐在岸边草坪中的躺椅上，戴着漂亮的帽子，手拿卷

筒和连杆，望着河面和鱼浮。每隔几分钟，你就会看一眼鱼浮，发现它并没有变化，但每隔

一小时左右，就会有鱼咬钩，这才是你真正感兴趣的事情。也就是说，很长的时间里没有什

么有用的信息，真正有用的信息偶尔才会出现。如果用

0

表示没有鱼，用

1

表示鱼上钩，那

么你记录的信息里很容易出现这样的片段：

0000000010000000001000000000001

。

从统计上来说（从运动角度来说同样如此），我们感兴趣的是鱼在咬钩这样的事件，其他

的都是冗余信息。

比喻就说到这里，下面来看一些数值的例子。下表展示了一些概率的集合（这里我们不关

心实际的符号）以及这些集合相应的熵。

概率集合

P

(

G

) 熵

H

(

G

) 对于一个包含1000个符号的数据集来说……

[0.001, 0.002, 0.003, 0.994] 0.06

其中会有

994

个相同的符号

[0.25, 0.25, 0.003, 0.497] 1.53

其中会有

497

个相同的符号

[0.1, 0.1, 0.4, 0.4] 1.72

其中会有

2

个符号，各出现

400

次

[0.1, 0.2, 0.3, 0.4] 1.84

其中会有

1

个符号是主要符号，但不占大多数

[0.25, 0.25, 0.25, 0.25] 2

共有

4

个符号，各出现

250

次

那么，应该如何理解这张表呢？

第一行中，第四个符号出现的概率最大，可以说占据了绝大多数的出现机会。换句话说，

这个数据集主要是由其中的一个符号组成的，偶尔会有其他符号随机出现。由于这个数据 ...