信息论

信息熵

  熵是接收的每条消息中包含的信息的平均量，被称为信息熵、信源熵、平均自信息量，为不确定性的量度。简而言之，越是确定的事，信息熵小，而越不确定的事信息熵越大。
  随机变量X的熵值H定义如下，

  H(X) = -\sum_{i}P(x_{i})log_{b}P(x_{i})

信息增益

  信息增益是指在原信息的基础上，知道新信息的条件下，信息确定性的提高。例如，一个人学习能力强不强的信息熵为0.9，而一个人自律性强不强的信息熵为0.3，则自律性对学习能力的增益为0.9-0.3=0.6，理解为在知道自律性的情况下，对于一个人学习能力的判断更加准确，也就是信息熵的减小（纯度越高）。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 从信息论说起（杂谈）
    什么是信息？在信息科技书的第一章，信息论的香农从通信的角度给信息的解释为：用来消除不确定性的东西。在课堂上，会这么...
    好奇宝宝125阅读 10,583评论 1赞 10
  • 信息论学习
    信息论 香农信息论的“信息”并不包含意义。信息论传递的是信息/消息/讯息/信号，其中：（1）消息/讯息是信息的载体...
    就是杨宗阅读 7,184评论 1赞 1
  • 机器学习（3）——信息论基础（熵的介绍）
    信息论基础   在讲述熵的时候，我想先引入一个新的东西——信息量，信息是用来减少随机不确定性的东西（即不确定性的减...
    WarrenRyan阅读 6,426评论 0赞 4
  • 燕洵篇——《楚乔传》
    燕洵，高高在上的世子，质子的生活，看似锦衣玉食，但内心的孤苦有谁能理解？ 出场时的意气风发，少年人的单纯和天真，如...
    木小夭的路过阅读 5,851评论 3赞 15
  • 316-1娟儿菇凉#有号以后课程#
    一、有10+潜质的标题 1、他说爱我，却这样做… 2、选择，，，一周流利音标不是梦。 3、为什么我们迷茫人生，怀疑...
    娟儿菇凉阅读 897评论 0赞 0