1、贝叶斯公式、贝叶斯原理、分离散和连续情况来描述具体过程、Laplace校准
2、逻辑回归和线性回归:目标函数为最大似然函数，写出最大似然函数（二分类，结果的sigmoid， 这里有一个概率表示的trick， 就是用上标表示， 多分类用softmax）
3、梯度下降法对LR的训练，列举所知的优化器：SGD、Adam， RMSProp
4、过拟合的解决方案：
- 减少feature个数（人工定义留多少个feature、算法选取这些feature）
- 正则化（留下所有的feature，但对于部分feature定义其parameter非常小），在cost上加 lamea(sigma(w^2))，同时w的更新变为w:=w-rate* 1/m*sigmamxi+ （lamea/m)w。注意：这里的w0不受正则化影响
5、knn分类原理
6、KD树：原理，复杂度，KNN的应用
