O.M.

1.最优化问题

无约束：
$\qquad D=R^n$
$\qquad min \ f(x) ，\qquad x \in R^n$
约束：
$\qquad D \subset R^n$
$\qquad min \qquad f(x)$
$\qquad s.t. \qquad g_i(x) \ge 0,i \in \mathcal{I} =\{1,\cdots ,m_1\}$
$\qquad \qquad \qquad h_j(x)=0 ,j\in \mathcal{E}=\{m_1+1,...,m\}$

2.最优解

[严格]局部最优解：
$x^*\in D,if \ \exists x^*的一个领域U_\delta (x^*)\triangleq \{x \big | \ ||x-x^*||<\delta\}\\ s.t. \qquad f(x^*) \le f(x),\qquad \forall x\in D \ \cap \ U_\delta (x^*).$
[严格]全局最优解：
$f(x^*) \le f(x),\qquad \forall x\in D$

3.函数

n元单值函数的一阶导数--梯度： n元1值函数求一阶导后会变为n元n值函数，用向量表示
$\nabla f(x)= \color{green}{ \begin{bmatrix} \frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ \vdots \\ \frac{\partial f(x)}{\partial x_n}\\ \end{bmatrix}} =(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots,\frac{\partial f(x)}{\partial x_n})^T$

n元单值函数的二阶导数--hessian阵 求二阶导后会变为n元n×n值函数,用矩阵表示,推测求三阶导会变成n元n×n×n值函数。现在不知是否叫张量。
$\nabla ^2 f(x)= \begin{bmatrix} \frac {\partial^2 f(x)}{\partial x_1^2} &\cdots & \frac {\partial^2 f(x)}{\partial x_1 \partial x_n} \\ \vdots && \vdots\\ \frac {\partial^2 f(x)}{\partial x_n \partial x_1} &\cdots &\frac {\partial^2 f(x)}{\partial x_n^2} \end{bmatrix}$

一元m值函数的一阶导数 "m值函数的一阶导还是m值函数"
$h(x)= \begin{bmatrix} h_1(x) \\ h_2(x) \\ \vdots \\ h_m(x) \end{bmatrix} \qquad \nabla h(x)= \begin{bmatrix} \frac{\partial h_1(x)}{\partial x}\\ \frac{\partial h_2(x)}{\partial x}\\ \vdots \\ \frac{\partial h_m(x)}{\partial x}\\ \end{bmatrix}$

n元m值函数的一阶导数 "多元向量值函数,每个h_i(x)都是一个n元单值函数。仅求一次导就变成了n元m×n值函数。推测求二阶导会成n元m×n×n值函数。"
$h({\bf x})= \begin{bmatrix} h_1({\bf x}) \\ h_2({\bf x}) \\ \vdots \\ h_m({\bf x}) \end{bmatrix} \qquad \ h'({\bf x})=\begin{bmatrix} \color{green}{\frac{\partial h_1({\bf x})}{\partial x_1}}& \color{green} {\frac{\partial h_1({\bf x})}{\partial x_2} } & \color{green} \cdots & \color{green} {\frac{\partial h_1({\bf x})}{\partial x_n}} \\ \frac{\partial h_2({\bf x})}{\partial x_1} & \frac{\partial h_2({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_2({\bf x})}{\partial x_n}\\ \vdots &&&\vdots \\ \frac{\partial h_m({\bf x})}{\partial x_1} & \frac{\partial h_m({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_m({\bf x})}{\partial x_n}\\ \end{bmatrix}_{m\times n}=\nabla h({\bf x})^T_{n \times m}$

4.泰勒展式

多元一阶：
$f(x)=f(y)+\nabla f(y+\theta (x-y))^T(x-y)$
$\qquad \quad=f(y)+\nabla f(y)^T(x-y)+o(||x-y||)$

多元二阶：
$f(x)=f(y)+\nabla f(y)^T(x-y)+\frac{1}{2}(x-y)^T \nabla ^2f(y+\theta (x-y))(x-y)$
$\qquad \quad =f(y)+\nabla f(y)^T(x-y)+\frac{1}{2}(x-y)^T \nabla ^2f(y)(x-y) +o(||x-y||)^2$

5.约束问题解法

变为无约束问题

改写：
令 $g_I(x)=(g_1(x),\cdots,g_{m_1}(x))^T,h_E(x)=(h_{m_1+1},\cdots,h_m(x))^T$
把约束问题等价地写成
$\min \quad f(x)$
$s.t. \quad g_I(x) \ge 0,$
$\qquad \quad h_E(x)=0.$
问题的可行域由无约束的 $D = R^n$ 变为约束的 $D =\{x {\large |} g_I(x) \ge 0,h_E(x)=0\}.$

序列无约束问题算法：
通过求解一系列无约束问题来逼近约束问题的解。
罚函数法&乘子法

外点罚函数法：
$def \quad F:R^n \to R \qquad F(x)= \begin{cases} f(x), \qquad x\in \color{red}{D}, \\ +\infty ,\qquad x\notin D. \end{cases}$
约束问题的解等价于下面无约束问题的解：
$\min \quad F(x),\quad x\in \color{purple}{R^n}$
引入如下函数：
$\color{red}{S(x)}=||h_E(x)||^2+||\min\{g_I(x),0\}||^2,\qquad$ "约束违反度函数"
$\color{purple}{P_\mu(x)}=\frac{1}{2} \mu \color{red}{S(x)},\qquad$ "罚函数"
$F_\mu (x)=f(x)+\color{purple}{P_\mu (x)} \qquad$ "增广目标函数"

外点罚函数算法：
0. 取初始点x[0],罚参数序列u[k],可以取u[k]=2^(k-1),精度eps>0,令k=0.
1. 构造增广目标函数F[x[k]]=f(x[k])+P(x[k])
2. 求解无约束问题得x[k]
3. P(x[k])<=eps,终止,否则k=k+1转步骤1

内点罚函数法： (...)

乘子法：

最后编辑于：2018.11.16 00:42:25

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 205,386评论 6赞 479
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,939评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,851评论 0赞 341
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,953评论 1赞 278
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,971评论 5赞 369
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,784评论 1赞 283
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,126评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,765评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,148评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,744评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,858评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,479评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,080评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,053评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,278评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,245评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,590评论 2赞 343

O.M.

1.最优化问题

2.最优解

3.函数

4.泰勒展式

5.约束问题解法

变为无约束问题

推荐阅读更多精彩内容