1.损失函数
说明：这里的阈值函数为二分输出，即y输出为1或者为0，在某些早期书籍中你可能会看到损失函数的公式为1/2(y'-y)^2,定义上来看确实没问题，但是我发现用他来进行梯度下降，反向传播的时候得到的函数将是一个非凸函数，有多个极值点，这是在计算中是很致命的，尤其是x的维度很大时，你的程序的时间复杂度会十分大；
另外推导过程用到概率论和线性代数，统计学中的相关知识，但不用担心，我会给不是很了解的朋友写出过程，当然，如果的你的数学功底很扎实，请略过那一部分，现在，开始吧：
首先，定义y' = p(y = 1| x)
公式说明：这里的x是训练数据中的某个特征值，他可以是单个数，也可以是向量，矩阵取决于你所要解决问题所建立的模型，y = 1即阈值函数输出为1，y'即对于x输入，y为1的概率0 <= y' <=1;
为便于讨论在这里我把x设为一个列向量，其他情况基本类似：
根据上文，我可以得到一个分段函数：
当 y = 1时：p(y|x) = y'
当y = 0：p(y|x) = 1 - y'
在这里，我把两种情况联合可写成p(y|x) = pow(y',y)pow(1 - y',1 - y) 其中pow（x,y）为x的y次方
我的最终目的是让p（y|x）的值为最大，这样可以使得估计值和实际值得误差最小，这也就是损失函数的书面意义，接下来的过程就用到数学里的万能大哥log了（许多推导过程都可以用他，因为他是严格单调的，而且可以把多次化成一次形式），如下：
令G（x,y） = logp(x|y) = ylogy' + (1 - y)log(1 - y') 前面提到log严格单调，所以G越大P(x|y)越大，说到这里有同学会问了，损失函数不是越小越好么？别急，推导还没完
在讨论更加复杂的神经网络时，我们倾向于损失函数小越好，因为这在问题的解决中会提供极大的便利，所以，怎么办呢，加个负号就好啦！所以最终
损失函数：Lost（y,y'） = -G(x,y)
= -[ylogy' + (1-y)log(1-y')]
2.成本函数
先给出成本函数：J（θ） = 1/mΣLost(y,y') 其中Σ上为m，下为0，m为训练的数据量大小文章，最后附件我会给出θ的推导过程，但现在这不影响证明
许多初学者错误的认为成本函数J（θ）的由来就是简单的对于损失函数求和取平均，确实他给的公式第一眼看过去就是取平均值（包括我自己刚学的时候也搞错了）但是仔细分析成本函数的定义，他的意义在于对应给定的训练数据{(x1,y1),(x2,y2) .......(xm，ym)}（再次强调，这里的x并不一定是一个实数，也可以是一个矩阵，向量等，取决于你建立的模型），我们要使得发生x1->y1,x2->y2.......xm->ym的概率达到一个最大值，如果简单的取平均完全不符合定义，聪明的的你肯定想到了，用极大似然函数！根据极大似然函数的定义：我得到
L(θ) = P(x1|y1)P(x2|y2).....P(xm|ym) = ΠP(xi|yi)
万能的log再次出现了：
U = log(L(θ)) = ΣP(xi|yi),
同损失函数的原理，加上一个负号让我们在求得时候求得最小值、
U = -U
在后续更加复杂的神经网络的讨论中，U会显得十分臃肿所以这里加上一个1/m进行调节，这样，我们使得他和损失函数在一个数量级，讨论的时候也就更加方便，即：
J（θ） = 1/mΣLost(y,y')
附：关于θ的讨论
学习阈值函数时，我们知道当w'X >= b时可以定义输出为1，
公式做适当变换，w'X - b >= 0其中w'为w的转置，在这里x为列向量，w也是，我们对于X向量进行扩充，加入x0 = 1元素，同时，w也扩充，加入w0 = -b,这样，设新的w为θ，得到.
θ'X = w'X - b,两者虽然只是形势不同，但在进行后续更加复杂的讨论时，只需要两个向量进行运算，而不用考虑实数b，我相信会很好的简化问题
