机器学习中的支持向量机(SVM)的推导涉及到了一个重要数学问题:约束最优化问题(对偶问题、拉格朗日、凸函数等)。在学习约束最优化问题的过程中又会遇到关于凸函数相关定理的证明。(书名《最优化原理和方法》薛毅等编著)
定理1.4.5的证明中1.4.20式到下式的推导(下图)是怎么来的呢?
这里用涉及到了多元函数求方向导数的问题。
多元函数的方向导数的定义和一阶方向导数的求导公式如下图:
下面推导1.4.20式到下式:
根据1.3.3方向导数的定义和公式
这里的y,x都是多元列向量。
带转置符号T为行向量