作业
- KNN
- SVM,Softmax
- Two-layer neural network
- Image features
图像分类中的问题
姿势、遮挡、背景、群猫
计算边缘
数据驱动
- 训练集
- 测试集
最小临近算法KNN
- KNN训练很快，存储数据，测试很慢，线性时间
- 卷积神经网络，训练很慢，测试很快
- Manhattan距离 d_1(I_1,I_2)=\sum_p|I_1^P-I_2^P|
移动坐标轴会改变，坐标依赖
坐标有实际意义
- Euclidean距离d_1(I_1,I_2)=\sqrt{\sum_p(I_1^P-I_2^P)^2})
绝对距离
- K的选择和距离的选择（超参数），事先确定，可调整
- 训练集和测试集的分配与超参数设置调整策略
训练集、测试集、验证集
先训练，不同的算法，不同的超参数，验证集验证表现最好的，用于测试
训练集和验证集的区别：算法能否直接看到标签
- 交叉验证
划分测试集和训练集
训练集K等分，轮流从中选取验证集
循环训练
- KNN的问题
时间长
L2距离不能很好衡量相似性和差异
维度灾难：指数增长的计算量
线性分类
- 参数模型f(x,W)=Wx+b
- 优点：向量值带权重
- 问题：无法获得划分线、多分类问题
