Introduction
优化是分析物理系统问题的一个重要工具， 过程为：
首先确认目标(Objective)，在问题量化的状态下的表现；其次确认系统目标所依赖的参数，即是变量(Variables)或者又称为未知量(Unknowns)；我们的目标是通过找到变量的值来完成目标的优化目的， 通常情况下这些变量是约束的(Constrained)；
确认目标，变量和约束这一整个解决问题的过程称之为建模(Modeling)，建立一个良好的模型是解决优化问题的最重要一步。一个模型建立完成后，优化算法(Optimization algorithms) 便可以被应用于其中以找到最好的解(Solution)，这直接决定优化过程的快慢，精度等； 当优化算法被应用时，我们必须通过最优性条件(Optimality conditions)验证算法是否起到作用，同时最优性条件也可以给出提升优化方法的方向；通常我们也可以通过敏感度分析(Sensitivity analysis) 来找到变量和模型之间的关系以提升优化模型。
Mathematical Formulation
通过数学角度来看，优化模型一般满足：
是变量的向量，
是目标函数（我们想要最小化/最大化的对象），
是约束函数（约束条件）。
和
是约束条件中
满足的等式和不等式集合，通常在这些条件下我们可以了解变量的可行域(Feasible region)。
Classifications of problems
我们一般将优化问题从以下几个角度分类：
1.连续性和离散优化(Continuous vs. Discrete optimization).
2. 约束和非约束优化(Constrained and Unconstrained optimization).
对于 Unconstrained optimization,.
3. 全局最优和局部最优(Global and Local optimization).
4. 随机优化和确定性优化(Stochastic and Deterministic optimization).
Convexity(函数凸性)
Convexity 是解决优化问题的基础， 首先其基础概念有：
凸集(Convexity set): 对于集合 ，在
中有任意两点的连接直线不超过
的范围， 即是 For any two points
and
, we have
for all
.
凸函数(Convexity function): Mathematically, is the convex set and
严格凸函数(Strictly convex):
凸函数优化(Convex Programming): 定义为：1.函数为凸函数； 2. 对于等式约束 为线性约束； 3. 对于不等式约束
为凸函数。
Optimization Algorithms
优化算法概述：
1. 优化算法是迭代的，通过初步猜测进而迭代优化值来追求结果。
2. 鲁棒性(Robustness): 算法对于对于数据变动/异常的接受能力。
3. 效率(Efficiency): 优化算法对于兼顾计算时间和计算量的追求。
4. 精度(Accuracy): 对于优化目标的表现能力，同时避免过拟合，取舍误差等。
