AR_Numerical_Optimization Cpt1.Introduction

Introduction

优化是分析物理系统问题的一个重要工具，过程为：

首先确认目标(Objective)，在问题量化的状态下的表现；其次确认系统目标所依赖的参数，即是变量(Variables)或者又称为未知量(Unknowns)；我们的目标是通过找到变量的值来完成目标的优化目的，通常情况下这些变量是约束的(Constrained)；

确认目标，变量和约束这一整个解决问题的过程称之为建模(Modeling)，建立一个良好的模型是解决优化问题的最重要一步。一个模型建立完成后，优化算法(Optimization algorithms) 便可以被应用于其中以找到最好的解(Solution)，这直接决定优化过程的快慢，精度等；当优化算法被应用时，我们必须通过最优性条件(Optimality conditions)验证算法是否起到作用，同时最优性条件也可以给出提升优化方法的方向；通常我们也可以通过敏感度分析(Sensitivity analysis) 来找到变量和模型之间的关系以提升优化模型。

Mathematical Formulation

通过数学角度来看，优化模型一般满足：

$\min _{x \in \mathbb{R}^{n}} f(x) \space \space \space subject \space to \space \begin{array}{ll}c_{i}(x)=0, & i \in \mathcal{E} \\c_{i}(x) \geq 0, & i \in \mathcal{I}\end{array}$

$x$ 是变量的向量， $f$ 是目标函数（我们想要最小化/最大化的对象）， $c_{i}$ 是约束函数（约束条件）。 $\mathcal{E}$ 和 $\mathcal{I}$ 是约束条件中 $x$ 满足的等式和不等式集合，通常在这些条件下我们可以了解变量的可行域(Feasible region)。

Classifications of problems

我们一般将优化问题从以下几个角度分类：

1.连续性和离散优化(Continuous vs. Discrete optimization).

2. 约束和非约束优化(Constrained and Unconstrained optimization).

对于 Unconstrained optimization, $\mathcal{E}=\mathcal{I}=\emptyset$ .

3. 全局最优和局部最优(Global and Local optimization).

4. 随机优化和确定性优化(Stochastic and Deterministic optimization).

Convexity(函数凸性)

Convexity 是解决优化问题的基础，首先其基础概念有：

凸集(Convexity set): 对于集合 $S \in \mathbb{R}^{n}$ ，在 $S$ 中有任意两点的连接直线不超过 $S$ 的范围，即是 For any two points $x \in S$ and $y \in S$ , we have $\alpha x+(1-\alpha) y \in S$ for all $\alpha \in [0,1]$ .