1、一维搜索算法
最优化的目标是寻找极小值点。
优化算法首先需要确定一个初始点以及搜索方向，在这个方向上做一维搜索，找到此方向上的可接受点之后，通过一定的策略调整搜索方向，继续在新的方向上进行一维搜索，以此类推，直到目标函数收敛到极小值点。
这种不断调整搜索方向，再在新的方向上进行一维搜索的技术被很多算法采用，具有实际工程意义。
但我们并不是只有这一种方法来实现最优化的目标，求得极小值点，还可以通过下面的信赖域算法来实现。
2、信赖域算法
信赖域算法没有一维搜索的过程，它是在一个区域内进行搜索。
一维搜索算法：从点移动到下一个点的过程可描述为：
，
就是在方向
上的位移，可将其记作
.
信赖域算法：根据一定的原则，直接确定位移，无需先确定方向。如果根据某种原则确定位移能使目标函数的值充分下降，则扩大信赖域，若不能使目标函数的值充分下降，则缩小信赖域，如此迭代下去，直至收敛。
3、例子
假设我们需要从火车东站去往火车西站，则：
一维搜索算法：先确定一个方向，比如先向南走，走着走着发现方向不对，则调整一下方向，比如向西走诸如此类；
信赖域算法：先划定一个区域，在这个区域内寻找距离火车西站最近的点，如果区域范围太大了，将火车西站划到了区域内，则缩小区域范围，然后再在该区域内寻找距离火车西站最近的点。
