主题:【原创】信息及其度量 -- wooxiao
共:💬9 🌺20
一个数,如果事先只有两种可能取值,0, 1, 那么传送任何一个值得到的信息量是 -log(2) 1/2 = 1 bit, 在计算机中只需要一位来表示和传送。
如果事先知道这个数可能的取值有8个(比如 0-7八个整数),每个取值的可能性均匀分布,那么传送某一个值的信息量是 -log(2) 1/8 = 3, 在计算机中需要三位来传送 (000-111 分别表示 0-7), 每位传送的信息量是 - log 1/2 =1 bit.
那么如果我们事先知道这个数值只有可能有一个值(概率为1),那么你得到这个值所得到的信息,自然是 0.
我觉得知道这个就可以了, 说明俺懂信息论了,
正如知道 e=mc2 俺就也就可以自称了解相对论一样了
- 相关回复 上下关系5
🙂送花之后请教问题 1 Songhua 字447 2006-06-20 14:27:03
😉最简单的情况
🙂有趣的话题,不过对概率来度量信息量还是有些疑问 铁手 字176 2006-06-19 20:14:37