and
其中为激活函数，
, if
, else
。
or
其中, if
, else
xor
sigmoid
.
使用sigmoid对多维特征向量进行二分类https://zhuanlan.zhihu.com/p/105722023
- 根据多维输入变量各分量之间的运算关系整合成输出
- 将输出映射到[0,1]范围内=》对应着事件发生的概率
softmax
硬最大化：只保留最大响应值，np.max([1,2,3,4,5]) = 5
软最大化：依然保留所有类别的响应值，相对大小关系不变
- 进行多分类
-
将激活值
映射到
，并且对值进行了拉伸，增强拉伸正的较大的值，压缩负的值.
- 每一个类别的输出值映射到0-1
- 约束：所有类别的输出值求和为1
指数函数（斜率不断增大）的优缺点：
- 优点：拉伸了相近数据之间的距离，放大了微小的差别；求导还是自己，求导不困难
- 缺点：对数据有指数级放大作用，在激活值较大的时候容易造成数据溢出（error），降低数值计算的稳定性
感性的认识：
softmax，概率，crossentropy（CE），,梯度下降
https://zhuanlan.zhihu.com/p/105722023 详细分析
http://playground.tensorflow.org (but激活函数只有sigmoid，tanh，ReLU)
https://blog.csdn.net/tengfei461807914/article/details/82079940
