- 最近在重新看Andrew Ng的课程,课程作业都放在这 ,学到神经网络的时候,想到一个问题,神经网络和逻辑回归是什么关系。
- 逻辑回归作为一种分类算法,直白理解是用一条直线/曲线/曲面将不同类别的输入区分开,得到每种输入对应的类别。绝大部分的情况下,需要用复杂的多项式区分不同的类别,输入维度越多,多项式的项数越多,复杂维度下,很难直接用逻辑回归求解,从而引入神经网络。看这篇文章
Logistic Regression看做是仅含有一个神经元的单层的神经网络!
Softmax regression其实是多维的Logistic regression,它其实可以看做是单层多个神经元的神经网络!
- 这就涉及到一个问题,softmax regression是什么,Andrew Ng课程里没有看到,但讲义里面有介绍:通过广义线性模型可以推出sigmoid和softmax,sigmoid只针对分两类的逻辑回归,是softmax的特例,softmax是将目标变量分为K类的算法。Andrew Ng课程里的方法是做K个logistic model,选最大的h(x)。当然这两种方法也是有专门使用场景的:"Softmax 回归 vs. k 个二元分类器(看讲义)"