在开篇先分享网站
这个是机器学习的各种比赛
http://www.dcjingsai.com/
这个文章的底部有面试合集1000
https://blog.csdn.net/T7SFOKzorD1JAYMSFk4/article/details/78771867
要是想在这一块取得较大的成绩，这些应该是个不错的途径。
再分享个视频网站（老外讲的中文字幕）感觉废话有点多...
https://edu.csdn.net/course/detail/5192
介绍
通俗表达：机器学习是人工智能的一个分支。我们使用计算机设计一个系统 ，使它能够根据提供的训练数据按照一定的方式来学习；随着训练次数增加，该系统可以在性能上不断学习和改进;通过参数优化的学习模型，能够用于预测相关问题的输出。
机器学习过程
1.建模
Training 训练数据 x + Labels 标记值 y -》Feature vectors 提取特征
-》Machine Learning Algorithm 机器学习算法 -》 Mode 模型
2.预测
New新数据 -》Feature vector提取特征 -》Mode 模型 -》Expected Lable 预测
机器学习的一般流程
数据收集 -》数据清洗 -》 特征工程 -》 数据建模
机器学习数学基础
高等数学
线性代数
概率论和数理统计 （计算机专业考过研的应该都懂）
编程语言
Python 下面这个是Python入门大全免费
http://sem.tanzhouedu.com/shiguang/it/python/hydt/
深度学习
我们今天知道的一些最早的学习算法，是旨在模拟生物学习的计算模型，即大 脑怎样学习或为什么能学习的模型。其结果是深度学习以人工神经网络（ANN）而谈。深度学习的神经观点受两个主要思想启发。一个想法 是大脑作为例子证明智能行为是可能的。另一种看法是，理解大脑和人类智能背后 的原理也非常有趣，因此机器学习模型除了解决工程应用的能力，如果能让人类对 这些基本的科学问题有进一步的认识也将会很有用。
上溢和下溢
一种极具毁灭性的舍入误差是下溢（underflow）。当接近零的数被四舍五入为 零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不 同。例如，我们通常要避免被零除（一些软件环境将在这种情况下抛出异常，有些 会返回一个非数字 (not-a-number, NaN) 的占位符）或避免取零的对数（这通常被 视为 −∞，进一步的算术运算会使其变成非数字）。 另一个极具破坏力的数值错误形式是上溢（overflow）。当大量级的数被近似为 ∞ 或 −∞ 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。 必须对上溢和下溢进行数值稳定的一个例子是softmax 函数。https://blog.csdn.net/red_stone1/article/details/80687921
梯度之上：Jacobian 和 Hessian 矩阵
有时我们需要计算输入和输出都为向量的函数的所有偏导数。包含所有这样的 偏导数的矩阵被称为 Jacobian矩阵。具体来说，如果我们有一个函数： f : Rm →Rn， f 的 Jacobian 矩阵 J∈Rn×m 定义为 Ji,j = ∂ ∂xj f(x)i。
当我们的函数具有多维输入时，二阶导数也有很多。我们可以将这些导数合并 成一个矩阵，称为 Hessian 矩阵。Hessian 矩阵 H(f)(x) 定义为 H(f)(x)i,j = ∂2 ∂xi∂xj f(x)
实例：线性最小二乘
https://blog.csdn.net/u011722133/article/details/72955708
决策树
https://www.cnblogs.com/wenyi1992/p/7685131.html
随机梯度下降
https://www.cnblogs.com/sirius-swu/p/6932583.html
维数灾难
当数据的维数很高时，很多机器学习问题变得相当困难。这种现象被称为维数 灾难（curse of dimensionality）。特别值得注意的是，一组变量不同的可能配置数量 会随着变量数目的增加而指数级增长。 维数灾难发生在计算机科学的许多地方，在机器学习中尤其如此。 由维数灾难带来的一个挑战是统计挑战。
显式或隐式的先验
https://blog.csdn.net/qq_23947237/article/details/78265026
光滑函数
光滑函数(smooth function)是指在其定义域内无穷阶数连续可导的函数。
在数学分析中，一个函数连续不一定可导，可导一定连续。原函数可导，导函数不一定连续。函数可偏导数也能推出函数可微（可导）
偏导在点连续=》可微=》在点可偏导，原函数在点连续
原函数在点可导《==》在点可微=》在点连续
例如，指数函数显然是光滑的，因为指数函数的导数是指数函数本身。
优化过程中，如果目标函数是光滑函数，那么有一些最优化方法可以保证优化时得到全局最优解。
Sigmoid函数总结
https://blog.csdn.net/wolfblood_zzx/article/details/74453434
代价函数|损失函数
概况来讲，任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ)，如果有多个样本，则可以将所有代价函数的取值求均值，记做J(θ)。
https://www.cnblogs.com/Belter/p/6653773.html?utm_source=itdadao&utm_medium=referral
激活函数
所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
https://blog.csdn.net/pipisorry/article/details/71157037
数学名词
Bernoulli （伯努利） Multinoulli （多项分布） Normal （高斯分布|正态分布） Binomial （二项分布） Poisson（泊松分布）
反向传播算法
https://www.jianshu.com/p/964345dddb70
正则化
机器学习中的一个核心问题是设计不仅在训练数据上表现好，并且能在新输入 上泛化好的算法。在机器学习中，许多策略显式地被设计来减少测试误差（可能会 以增大训练误差为代价）。这些策略被统称为正则化。
过拟合与欠拟合
https://blog.csdn.net/qq_18254385/article/details/78428887
共轭梯度
https://blog.csdn.net/lusongno1/article/details/78550803
SVM
https://blog.csdn.net/liugan528/article/details/79448379
凸优化
http://www.360doc.com/content/18/0522/09/32196507_756021531.shtml
