高斯牛顿法解非线性最小二乘问题推导

应用领域

解决非线性最小二乘问题，描述如下：
$\min _{x} \frac{1}{2}\|f(\boldsymbol{x})\|_{2}^{2}$

其中：

自变量 $\boldsymbol{x} \in \mathbb{R}^{n}$ ， $n$ 维向量
$f$ 为非线性函数，向量函数， $\boldsymbol{f} \in \mathbb{R}^{m}$ ， $f$ 输出为 $m$ 维向量

推导

1. 一阶泰勒展开近似

对 f(x) 在 $x_n$ 处泰勒展开：
$f(\boldsymbol{x_n}+\Delta \boldsymbol{x}) \approx f(\boldsymbol{x_n}) +\boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x}$
其中：

$J(x_n)$ 为函数 $f(x)$ 在 $x_n$ 处的 雅克比矩阵

注意：是展开 $f(x)$ 而不是 $\frac{1}{2}\|f(\boldsymbol{x})\|_{2}^{2}$ 。
对于单一输出的函数，一阶导数的位置上应为 梯度向量，对于输出为向量的函数，这个位置上为 雅克比矩阵。

将问题转化为：对于每次迭代，求最优的 $Δx$ 。表达如下：
$\Delta \boldsymbol{x}^{*} =\arg \min _{\Delta \boldsymbol{x}} \frac{1}{2}\|f(\boldsymbol{x_n}) +\boldsymbol{J_n}(\boldsymbol{x_n}) \Delta \boldsymbol{x}\|^{2}$

展开：
$\begin{aligned} \frac{1}{2}\|f(\boldsymbol{x_n})+\boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x}\|^{2} &=\frac{1}{2}(f(\boldsymbol{x_n})+\boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x})^{T}(f(\boldsymbol{x_n})+\boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x}) \\ &=\frac{1}{2}\left(\|f(\boldsymbol{x_n})\|_{2}^{2}+2 f(\boldsymbol{x_n})^{T} \boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x}+\Delta \boldsymbol{x}^{T} \boldsymbol{J}(\boldsymbol{x_n})^{T} \boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x}\right) \end{aligned}$

2. 求极值

令关于 $Δx$ 的导数=0 ：

$2 \boldsymbol{J}(\boldsymbol{x_n})^{T} f(\boldsymbol{x_n}) +2 \boldsymbol{J}(\boldsymbol{x_n})^{T} \boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x} =\mathbf{0}$

$\boldsymbol{J}(\boldsymbol{x_n})^{T} \boldsymbol{J}(\boldsymbol{x_n}) \Delta \boldsymbol{x} =-\boldsymbol{J}(\boldsymbol{x_n})^{T} f(\boldsymbol{x_n})$

得到结果：
$Δ\boldsymbol{x}^* = -(\boldsymbol{J}(\boldsymbol{x_n})^{T} \boldsymbol{J}(\boldsymbol{x_n}))^{-1} \boldsymbol{J(x_n)}^Tf(\boldsymbol{x_n})$

有的文章还会再做一些符号的简化表示：
$\boldsymbol{J}(\boldsymbol{x_n})^T\boldsymbol{J}(\boldsymbol{x_n}) = \boldsymbol{H} \\ \boldsymbol{J}(\boldsymbol{x_n})^Tf(\boldsymbol{x_n}) = \boldsymbol{g}$