约束最优化问题的表达无法理解

书上说原问题可以表述为下面的最优化问题

$\max_{w,b} \gamma \\ s.t.\ y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \geq \gamma,\ i=1,2,...,N$

但是其实约束项的左右两边是一样的( $\gamma = y_i(\frac{w}{||w||}x+\frac{b}{||w||})$ )。。。

看着十分奇怪

就算之后用函数间隔替换了几何间隔，但是还是有同样的问题：

$s.t.\ y_i(wx+b) \geq \hat \gamma,\ i=1,2,...,N; \hat \gamma = y_i(wx+b)$

那这样的话函数间隔还有什么意义。。。

我认为的更好的解释

按照定义来说，几何间隔应该是不考虑分类正确与否的

举个例子，如果正例(+1)被误分类到 $wx+b<0$ 的区间里面了，那么函数间隔 $\hat \gamma' \leq 0$ , 几何间隔 $\gamma' \geq 0$

所以这两个之间的关系并不只是线性缩放，并且保持符号相同的关系。可能符号会发生改变

也就是说“函数间隔”隐藏了“分类正确这个大前提”，所以

$y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \neq\frac{1}{||w||}|wx+b| \\ \gamma \neq \frac{\hat \gamma}{||w||}$

所以几何间隔 $\gamma$ 应该满足“值永远为正数”这个条件

$\gamma = |\frac{w}{||w||}x+\frac{b}{||w||}| = \frac{1}{||w||}|wx+b|$

而约束最优化问题应该被如此表述：

$\max_{w,b} \gamma \\ s.t.\ y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \geq \gamma,\ i=1,2,...,N$

约束条件左边的式子的意义是：“在分类正确的条件下的几何距离”，相较于右边式子多了一个条件

所以有

$\max_{w,b} \frac{1}{||w||}|wx+b| \\ s.t.\ y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \geq \frac{1}{||w||}|wx+b|,\ i=1,2,...,N$

约束条件里面的 $||w||$ 可以左右消除

$\max_{w,b} \frac{1}{||w||}|wx+b| \\ s.t.\ y_i(wx+b) \geq |wx+b|,\ i=1,2,...,N$

和书上的原理一样，因为|wx+b|对于解没有影响，所以可以取 $|wx+b|=1$ , 于是有

$\max_{w,b} \frac{1}{||w||}\\ s.t.\ y_i(wx+b) \geq 1,\ i=1,2,...,N$