![240](https://upload.jianshu.io/users/upload_avatars/29233588/7325ab08-9958-42fa-b674-2a384956439e.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
IP属地:陕西
熵是信息论中的重要概念,它是对不确定性的度量,熵越大,不确定性越大。由此衍生出了条件熵、相对熵、交叉熵、互信息等概念,理解这些概念对于理解机器学习中的模型有很大的帮助,本文将...
信息熵 信息熵也被称为熵,用来表示所有信息量的期望。 其中X是一个离散型随机变量。 相对熵 相对熵即KL散度。如果随机变量X有两个单独的概率分布P(x)和Q(x),用KL散度...
转自详解机器学习中的熵、条件熵、相对熵和交叉熵[https://www.cnblogs.com/kyrieng/p/8694705.html] 信息是一个很抽象的概念,百度百...