建议两种方式去分类和思考机器学习相关算法：

• 根据 learning style
• 根据算法之间的 similarity

Algorithms Grouped by Learning Style

1 Supervised Learning

特点是训练集中有给定的 label。
Example problems：分类和回归。
Example algorithms：逻辑回归，神经网络中的反向传播。

2 Unsupervised Learning
特点是训练集中没有给定的 label，或者说是无预知结果。
Example probelms：聚类，降维(dimensionality reduction)，关联规则学习(association rule learning)。
Example algorithms：the Apriori algorithm 和 k-Means。

3 Semi-Supervised Learning
顾名思义，就是训练集中，有一部分样本是有标签 label 的，另一部分没有。
Example problems：分类和回归。
Example algorithms：对一些对未标记数据进行假设和建模的灵活方法的扩展。

Algorithms Grouped By Similarity

1 Regression Algorithms
回归对变量之间的关系进行建模，并使用模型预测中的误差度量进行迭代求精。

常见的算法：

• Ordinary Least Squares Regression (OLSR)
• Linear Regression
• Logistic Regression
• Stepwise Regression
• Multivariate Adaptive Regression Splines (MARS)
• Locally Estimated Scatterplot Smoothing (LOESS)