梯度下降法和牛顿法求解函数极小值,是不带约束条件的。
拉格朗日乘数法可用于求解带等式约束条件的理论极小值。
例题
要设计一个容积为V的长方体开口水箱,如何确定长、宽、高,使水箱的表面积最小?
小学生是这样做的
V=长×宽×高
宽 = V÷长÷高
长 = V÷宽÷高
高 = V÷长÷宽
表面积 = 2×长×高+2×宽×高+长×宽
小学生发现,长和宽是等价的,只要换个角度观察就能交换它们,
V÷高 = 长×宽,
表面积÷高 = 2×长+2×宽+长×宽÷高
假设高为单位1(不变),那么
V = 长×宽
表面积 = 2×长+2×宽+长×宽
表面积 = 2×V÷长+2×V÷宽+V
表面积 ÷ V= 2÷长+2÷宽+1
假设V也是1,
表面积 = 2÷长+2÷宽+1
从这个可以看出来,长和宽的都是越大越好(表面积小),当长大于宽时,“宽增加1”与“长增加1”相比,“宽增加1”效果更好,所以,最好的方案是,在长和宽相等的时候,增加相同的长和宽。
于是把上面的东西简化为:
边长×边长 = V÷高
高 = V÷(边长×边长)
表面积 = 4×边长×高+边长×边长
把表面积计算中的“高”换成“边长”和“V”:
表面积 = 4×边长×V÷(边长×边长)+边长×边长
化简得
表面积 = 4×V÷边长+边长×边长
V是一个常数,设A = 4×V,那么还能继续简化为
表面积 = A÷边长+边长×边长
随着边长变大:A÷边长变小,越来越慢;边长×边长变大,越来越快;
当 A÷边长 变小的速度大于 边长×边长 变大的速度时,表面积变小;
当 A÷边长 变小的速度小于 边长×边长 变大的速度时,表面积变大;
当 A÷边长 变小的速度等于 边长×边长 变大的速度时,表面积最小。
怎样计算 随着边长变大,A÷边长变小的速度?
取一段很小的边长的变化范围,用这个范围内的“A÷边长的变化量”除以“边长的变化量即变化范围的高位减低位”,即可得到某个范围内“A÷边长变小的速度”。
设这个很小的边长的范围为从x到x+a的一段,那么,
当(A÷(x+a)-A÷x)÷a=((x+a)×(x+a)-x×x)÷a×(-1)时(某个速度要乘以-1,因为变大的速度为正,变小的速度为负),表面积最小。
解这个方程,
A÷(x+a)-A÷x=((x+a)×(x+a)-x×x)
(A×x-A×(x+a))÷((x+a)×x)=(x×x+a×a+2×a×x-x×x)×(-1)
A×a=(a×a+2×a×x)×(x×x+a×x)
A×a=a×(a+2×x)×(x×x+a×x)
A=(a+2×x)×(x×x+a×x)
A=a×x×x+a×a×x+2×x×x×x+2×x×a×x
A=3×a×x×x+a×a×x+2×x×x×x
由于a是个很小的数,所以可以把乘a的部分认为是0就行了。
A=0+0+2×x×x×x
A÷2=x×x×x
只需找到一个正数x,令x×x×x=A÷2(A=4×V),那么,边长就确定为x了。
“2×V的正立方根”就是最佳的长和宽,V÷“2×V的正立方根的平方”就是最佳的高。
(不得不佩服小学生的智商)
用拉格朗日乘数法做
解:设水箱的长、宽、高分别为x,y,z,则水箱容积V(x,y,z)=xyz,焊制水箱用去的钢板面积为S(x,y,z)=2xz+2yz+xy。
转化为一个求函数S在V限制下的最小值问题。
设拉格朗日函数F(x,y,z,λ)=S(x,y,z)+λV(x,y,z),λ叫做拉格朗日乘数。
令F(x,y,z,λ)对x、y、z的一阶偏导数等于零,对λ的一阶偏导数等于容积(常数):
F'x=S'x(x,y,z)+λV'x(x,y,z)=0;
F'y=S'y(x,y,z)+λV'y(x,y,z)=0;
F'z=S'z(x,y,z)+λV'z(x,y,z)=0;
F'λ=V(x,y,z)=V.
解这个方程组(见代码),即可得到符合条件的x,y,z的值
实验室代码
>>> from sympy import *
>>> from sympy.abc import *
>>> F = 2*x*z+2*y*z+x*y+lamda*x*y*z
>>> eq_a = Eq(diff(F,x,1),0)
>>> eq_b = Eq(diff(F,y,1),0)
>>> eq_c = Eq(diff(F,z,1),0)
>>> eq_d = Eq(diff(F,lamda,1),V)
>>> solve([eq_a,eq_b,eq_c,eq_d])
[{V: 0, x: 0, y: 0, z: 0}, {V: 4*z**3, lamda: -2/z, x: 2*z, y: 2*z}]
得到了两组解,{V: 0, x: 0, y: 0, z: 0}这组解无意义,我们采
{V=4z^3, x=2z, y=2z}这组解。
这组解的意思是,当V=4z^3时, 2xz+2yz+xy取到极小值。
或者说,当V=2x^3时,2xz+2yz+xy取到极小值。