工业时代我们习惯了牛顿的思维模式，一切都是确定性的、可测量的、可观测的、可预测的，当然牛顿世界观改变了我们的生活，对于我们还是至关重要的，但是你有没有发现呢现在好多事物都是不确定性的。比如股市的此起彼伏，不管多么重量级的人去预测总有很多的失误很大的不确定性。面对这个不确定性的世界我们该如何应对呢？下面给大家介绍下香农的信息论，从信息的角度来理解不确定性。
1.如何度量信息
香农把信息和世界的不确定性（无序状态）联系到了一起，称作信息熵，可以用来度量信息。熵用来描述一个系统中趋向于恒温的程度，当这个系统完全达到恒温时就无法做功了，这时熵最大。
那么可以用信息来消除这种不确定性吗？玻尔兹曼给我们介绍了一种方法论，把熵（宏观特性）和封闭系统的无序状态（每一个分子的微观特性u）联系起来。E＝Klog (u)
信息论是建立在不确定性基础上，要消除不确定性就要引入信息。用不确定性眼光看世界，再用信息消除不确定性。
2.对具有相关性的信息又该如何度量呢
互信息这个概念实现了对相关性的量化度量，相关性。
3.香农的两个定律
两个相关信息处理和通信的最基本的规律即香农第一定理。对于信源发出的所有信息设计一种编码，那么编码的平均长度一定大于该信源的信息熵，但一定存在一种编码方式(最优的)使得编码的平均长度无限接近于它的信息熵(不确定性)。比如说给汉字编码，怎么做到最优化呢？霍夫曼给了一个非常简单的方法－只要把只要把最短的编码分配给最常见的汉字即可。与经济学上的吉尔德定律即尽量多地采用便宜的资源，尽可能节省贵的资源，本质上是相同的。摩尔定律使得计算机越来越便宜，人力成本越来越贵，用机器替代人力就是很好的例子。
香农第二定律即信息的传播速率不可能超过信道的容量。比如互联网发展的各个阶段实际上是建立在不断拓宽带宽的基础之上的。早期使用电话调制解调器，到使用DSL（数字用户线路）再到后来使用宽带电缆，最后光纤都是围绕着不断增加信道容量而进行的。如人脉就是人与人交往的宽带，人脉越多发出的信息和获得的信息越多，生意做的也就越大。
信息时代的香农定律就相当于工业时代的牛顿定律，用不确定性来看待世界，再永信息来消除这种不确定性。
4.最大熵原理
最大熵原理即当我们要对未知事件寻找一个概率模型时，这个模型应当满足我们所有已经看到的数据，但对未知的情况不要做任何主观假设。被广泛用于机器学习。已经不同于“大胆假设、小心求证”的方法论，因为它要求不引入主观的假设。不做主观假设的前提是取得了足够多的数据，否则最大熵模型只能给出一些平均值而已，而不能对任何细节进行描述和预测。
人最难改变的就是人的思维模式，但是我们已经无法选择了，必须接受这个世界。学会用不确定性来看待这个世界，用概率思维来看待这个世界，用自己尽可能多的信息来消除不确定性。希望能对你有用，有启发。
