机器学习面试题-使用softmax中需要注意哪些问题？

关注微信公众号“百面机器学习”获得更多机器学习面试题

问题引入

softmax是一个很有用的东西，在我们的分类问题中经常被用到，大家在构建神经网络以及在学习word2vec的时候都会用到softmax函数，那么实际在使用softmax的过程中有哪些需要注意的呢？
看来看好像根据公式直接算就可以了，但是中间还有写细节问题，下面我们一起来看一下。

问题解答

在我们的softmax计算过程中会遇到上溢下溢的问题，这点我们可以从softmax的函数中看到。
f(x) = \frac{{\exp (x)}}{{\sum\limits_{i = 1}^k {\exp (x)} }}
可以看到我们的分子和分母都是指数函数，当x取值过大时会导致数据溢出，当x都很小的时候，分母为0，举个例子，当x=[10000,5000,2000]的时候，exp(10000)超过了计算机所能存储的最大范围，就会发生溢出。当x=[-10000,-1000,-34343]的时候，分母很小很小，基本为0，导致计算结果为nan.

那如何解决呢，只要将x进行变换就可以,将原数组变成x-max(x)。对于x=[10000,5000,2000]，则变成x=[0,-5000,-8000]，这样分母最少为1，分子不用说没问题也不会溢出。为啥减去一个max(x)就可以呢，我们看如下的公式：
\frac{{\exp (x - a)}}{{\sum\limits_{i = 1}^k {\exp (x - a)} }} = \frac{{\exp (x)\exp ( - a)}}{{\exp ( - a)\sum\limits_{i = 1}^k {\exp (x)} }}。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。