今天这部分主要讲信息系统的一些基本概念，主要有信息熵、互信息、相对熵。其实含义很简单，分别表示信息的复杂度，他们的相关性，不同函数之间的相关性几个概念，对应还有相关的公式。
按霍金老先生的说法，每增加一条公式，就减少一半的读者。就不一一罗列了。
重点是，看似很高大上的几个概念，他们如何用于实践的？
相对熵用于判断论文是否抄袭。互信息用于解决自然语言识别中的字词二义性问题。信息熵则可以衡量比较一组信息的复杂度。
一旦将枯燥数学概念和具体有趣的问题相联系，兴趣和好奇心也就自然有了。
图片发自简书App
图片发自简书App
