深度学习-运筹学

推荐系统落在运筹学的范畴，可归结为矩阵补全（matrix completion）问题，用半正定规划（SDP）方法，如非负矩阵分解（NMF）解决，而 YouTube 的结果显示深度学习的预测准确率比传统方法好很多、快很多。

其他运筹学的问题（如广告搜索、路径规划、定价估值、仓储物流）、形式（如 LP、CP、SDP、MIP）、和方法（如内点法、割平面法）也会遇到这样来自深度学习的挑战吗？

Lasso等方法的提出正好契合了贝叶斯学习的精神；

Boyd 在故纸堆中重新找出分布式ADMM用来求解带约束机器学习问题（矩阵分解等等），成为了传统机器学习的标准范式（objective+regularization）；

深度学习的兴起则直接带火了一片一阶随机算法：ADAM/RMSprop 等。例如，SVM 的训练过程，本质上是求解一个 SQP问题；

训练神经网络的梯度下降算法，是在使得训练误差极小化意义下的一个局部优化算法。

机器学习模型的训练过程，都是首先将其建模为一个运筹学问题，然后采用相应算法来求解的。

机器学习（包括深度学习），是运筹学的一个应用领域。

几类经典算法（凸规划算法、动态规划、若干图算法、信任域算法、元启发式算法等）；

结合领域知识，采用模型简化和变换、分而治之等办法来近似求解。

『运筹学+机器学习』的案例：

工业产品设计领域常使用响应曲面法(RSM)、插值法来根据有限的实验数据点来建立模型并求解；

进化算法大类中，EDA（Estimation of Distribution Algorithm）
算法通过一些机器学习模型来学习编码和目标函数之间的近似关系来提升迭代效率；

EDA之类的分布概率估计算法，思想非常好，但是后续并没有取得很大的成功，原因在于，复杂非线性优化问题的解空间往往非常『崎岖』，Landscape 非常复杂，通过一些常规的线性模型、核模型、神经网络等，很难对其解空间进行高精度的逼近。

凸优化算法一般能够高效解决的变量个数一般在1k-100k这个量级。

机器学习以及深度学习所伴随的数据集规模（N），随机算法（SGD-based method)、分布式算法被提出；

深度学习由于问题极其扭曲（深），非线性程度很高，所以求解过程收敛速度和收敛性并没有任何的保证；

在给定大量高质量数据的前提下，深度网络和深度学习算法展现出了相比较传统机器学习模型精准得多的逼近能力，能够提供高精度的逼近效果；

应用层面来说，机器学习在‘预测’上比传统运筹和统计模型表现好是必然的，原因是传统模型基于简单的假设，因为复杂的假设可能无法快速的解出最优解。更多的参数意味着这更好的拟合程度，虽然有过拟合的风险，但机器学习模型可以通过模型增加正则化，Bagging, Boosting等一些列方式防止过拟合，从而达到很好的预测效果。

image.png

image.png

image.png