softmax
softmax函数常在神经网络输出层充当激活函数，目的就是将输出层的值归一化到0-1区间，将神经元输出构成概率分布，主要是将神经元输出值归一化。
在李宏毅机器学习中，logistic regression中，Multi-class Classification说过softmax：
假设有三个class：C1，C2，C3，每一个class都有自己的weight和bias,这里w1,w2,w3分别代表3个vector；b1,b2,b3分别代表3个const,input的x也是一个vector
softmax:意思是对最大值做强化，因为在做第一步的时候，对z取exponential回事大的值和小的值之间的差距被拉得更开，也就是强化大的值。
我们把z1,z2,z3丢进一个softmax的function，softmax做的事情是这样三步：
- 取exponential，得到ez1,ez2,ez3
- 把三个exponential累计求和，得到total sum=
- 将total sum分别除去这三项（归一化），得到y1=
、y2=
、y3=
text
z
原来的output z可以是任何值，但是做完softmax之后，output yi的值是介于0-1之间的，并且它们的和一定是1，
而softmax的output，就是拿来当z的posterior probability
