泰勒公式、中值定理、最优化问题

泰勒公式

泰勒公式是将一个在x=x₀处具有n阶导数的函数f(x)利用关于(x-x₀)的n次多项式来逼近函数的方法

若函数f(x)在包含x₀的某个闭区间[a,b]上具有n阶导数，且在开区间(a,b)上具有(n+1)阶导数，则对闭区间[a,b]上任意一点x，成立下式：

泰勒公式

佩亚诺（Peano）余项：

Peano余项

拉格朗日（Lagrange）余项：

Lagrange余项

拉格朗日中值定理：如果函数f(x)满足，在闭区间[a,b]上连续，在开区间(a,b)内可导，则至少存在一点

定义域

使得

拉格朗日中值定理

罗尔中值定理：如果函数f(x)满足，在闭区间[a,b]上连续，在开区间(a,b)内可导，f(a)=f(b)，则至少存在一点

定义域

使得f'(ξ)=0

柯西中值定理：如果函数f(x)、g(x)满足，在闭区间[a,b]上连续，在开区间(a,b)内可导，对任意

x定义域

g(x)导数不等于0

则至少存在一点

定义域

使得

柯西中值定理

约束最优化问题：约束最优化问题（constrained optimization problem）是指具有约束条件的非线性规划问题

最优化问题

拉格朗日乘子法：对于具有l个等式约束的n维优化问题

约束函数

把原目标函数f(x)改造成为如下形式的新的目标函数

拉格朗日函数

其中f(x)是目标函数，h_k(x)是约束条件，在极值处，有

F对所有x的导数为0

F对所有λ的导数为0

KKT条件：
最小二乘法：