一.机器学习中的优化问题
损失函数 : 模型与实际数据匹配程度越好,损失函数就越小,如果相差较大,损失函数也会相对比较大
正则化函数 : 模型很复杂,对于训练数据拟合性很好,但是对于未见过的数据拟合较差,因此可通过正则化的函数控制模型的复杂度,避免模型过于拟合训练数据,对于新来的数据有泛化的能力
实例 :
数学优化的形式化:通过数学的建模来求解问题,数学的优化可归纳成标准形式,入下图所示:
首先需要最小化函数f0(x),如果要求最大化,可以求-f0(x)的最小值,就是f0(x)的最大值,fi(x)为约束函数要满足上图中的形式
R^n -> R表示是 : 输入可以是多维的,输出要是一个实数
标准化形式就是最小化目标函数f0(x),附带m个约束函数,x是带优化的变量,维度不限
优化的应用示例 :
二.优化问题求解
1.最小二乘
适用于中等偏大规模
上面的2是平方,下面的2是泛数
2.线性规划
目标函数与约束函数都是线性的,在数据不是很大规模的情况下能很快的求解
形式化问题的过程需要技巧,也是相对成熟的问题
3.凸优化
最小二乘特例 : 最小二乘只有目标函数f(x),其二范数也是凸函数的一种,没有约束函数
线性规划特例 : 目标函数与约束函数都是线性函数,线性函数也是凸函数的一种
求解与应用 :
是接近成熟的技术,现在的很多软件包只能求解中等规模,对于大规模的还是需要预定工程的技术与优化方法
时间复杂度 : 取n3(输入数据的数目n),n2*m(数目的维度,约束函数的数目m), F(求解目标函数与约束函数一,二阶倒数的计算复杂度)的最大值
满秩矩阵(m[有效方程组的数目] = n[变量的数目])才有唯一解,因此m<<n,线性方程Ax=b没有唯一解(解是一个比较大的集合,称为欠定方程组)
给定目标函数之后,我们期望从线性变化中能恢复一个比较准确的x(这个就是怎么讲将求解线性方程组的问题转换成一个优化问题)
在下例中256个变量的矩阵,条件有128个,对于它的求解可以预先设定一个解,是一个稀疏的解,然后如何恢复条件
(a).目标函数形式化成解的0泛数最小(找出向量当中的非0的个数,不是凸函数,没办法用方法很好的求解)
(b).目标函数形式化成解的二泛数最小(相对于a来说没有稀疏性)
(c).目标函数形式化成解的一泛数最小(最常用的求解,求出来的解与0泛数相似,同时在凸优化可以求解的范围内)
