建议两种方式去分类和思考机器学习相关算法：
- 根据 learning style
- 根据算法之间的 similarity
Algorithms Grouped by Learning Style
1 Supervised Learning
特点是训练集中有给定的 label。
Example problems：分类和回归。
Example algorithms：逻辑回归，神经网络中的反向传播。
2 Unsupervised Learning
特点是训练集中没有给定的 label，或者说是无预知结果。
Example probelms：聚类，降维(dimensionality reduction)，关联规则学习(association rule learning)。
Example algorithms：the Apriori algorithm 和 k-Means。
3 Semi-Supervised Learning
顾名思义，就是训练集中，有一部分样本是有标签 label 的，另一部分没有。
Example problems：分类和回归。
Example algorithms：对一些对未标记数据进行假设和建模的灵活方法的扩展。
Algorithms Grouped By Similarity
1 Regression Algorithms
回归对变量之间的关系进行建模，并使用模型预测中的误差度量进行迭代求精。
常见的算法：
- Ordinary Least Squares Regression (OLSR)
- Linear Regression
- Logistic Regression
- Stepwise Regression
- Multivariate Adaptive Regression Splines (MARS)
- Locally Estimated Scatterplot Smoothing (LOESS)
