信息是什么？
是用来消除未知的东西，在一个未知的环境中，什么都不清楚，就像封闭了感官后的人，蒙上了眼睛，堵上了耳朵，也被限制了行动，这样的状态下，就不知道周围发生了什么，所以周围就是未知的。
这个时候，把这个人的耳塞去掉，就可以接受声音，可以听见水声，汽车引擎声，说话声等等，凭借这些声音，就可以推知很多东西，水声可能就有水龙头，有水管，汽车引擎声说明周围有道路，说话声则说明还有其他人。相比于之前完全未知的环境，现在的环境就比较让人安心了，至少不太可能是深山老林之类的危险环境。
这个例子中声音就是信息，它部分消除了环境的未知性。
然后，再把这个人的眼罩去掉，就可以接受图像，可以看见墙壁，看见门，桌子和椅子，窗户以及天空，还有站在一旁的人。这时，环境的情况就基本清楚了，从未知变成了已知。而且远比声音有用，几乎消除了环境的所有未知性。
这就是信息，消除未知性，将不确定的东西变成确定的。而且我们还能得到另一些性质，不同的信息有着不同的有效性，图像显然比声音有效，音像结合起来就比单纯的图像有效。因为声音具有穿透性，可以给出看不见的地方的情况。
上面是信息的一些非常形象的例子，当然，我们不会满足于这样的肤浅认识。
于是，我们需要用抽象的概念来增进对信息的认识，于是引入了熵。
什么是熵？
熵是描述混乱程度的量，也可以描述为系统的微观状态数，还可以表达为系统的可能性。
首先还是一些简单的例子，假如小孩子有一盒子的积木，还有一个一平方的毯子，如果只允许在毯子上摆积木，那么玩过之后收拾起来就比较容易，看上去也没有那么乱，假如小孩子不听话，将积木丢得到处都是，不仅仅在毯子上，地板上，桌子上，到处都是。收拾起来就非常麻烦，看起来也很混乱。
于是，就有这样的认识，对区域加以限制，就像上面的从整个屋子到一块毯子，那么积木的混乱程度就减小了，或者说积木的熵就减小了。
当我们把积木收回到盒子里，一个一个的摆放整齐，那混乱度就更小了。积木几乎都无法运动。
因此，熵就可以直观的理解为运动的范围，熵越大，则运动范围越大，熵越小，则运动范围越小。最小的就是完全无法运动了，熵就是零。
之所以把熵和运动联系起来，是因为运动具有极为广泛地含义。
运动的含义
最常用的是物体位置，朝向的变化，也就是刚体运动，把一块积木从一个地方移到另一个地方，原来是平放的，现在把他立起来，原来是指向这边的，现在把他指向那边。
然后是物体的状态的变化，比如水从液态变为气态，铁从固体变成了融化的铁水，这是物态运动。还有其他的状态运动，比如屏幕从明到暗，视频从开头播放到中间。这都是运动。
运动是如此的广泛，所以熵也是极为广泛地概念。
信息与熵
熵反映了运动的范围，熵越大，则可以运动的范围就越大，我们想要推断出系统的状态就越困难，系统的未知性就越大。
还是举积木的例子，假如蒙上眼睛，去抓取积木，当积木遍布整个屋子时，随手一摸，很难摸到积木，如果限制到毯子上，用手一扫，总能摸到几个，如果限制到盒子里，轻而易举就能摸到积木。
我们摸积木这个动作其实就是在推测系统的状态，因为感觉这里有积木，所以才去摸。熵越小，显然越容易猜中。
所以熵和系统的未知性关系密切，熵越大，未知性越大。
回想起信息的定义，信息可以消除未知，于是，信息和熵就联系起来了。
对于一个系统，最初具有很大的熵，当获取一些有用的信息后，熵就变小了。
结语
这就是这篇文章所要讲的原理了。虽然看似显而易见，实际上几乎所有的原理都是显而易见的，但是，当这条原理作用到陌生的对象上时，就会变得非常神奇。
比如通信原理，编码原理，通过发送精心安排的信息，就可以从庞大的字符状态空间中得出确定的语句。
这就是这一基本原理的应用，系统就是这个字符状态空间，接受信息前系统的熵很大，收到信息后，系统的熵减小为零，得到了确定的内容。
