写在前面
最近在学习斯坦福深度学习CS231N的课程，其实之前学习过，但只做了纸质笔记不方便携带，今天想继续学习的时候发现没带笔记且时隔一阵子就只留了模糊印象，因此只能重看，所幸重温时发现能够回忆起来。
遂下定决心尽管麻烦一些，但还是整理成电子版以方便查阅，也能同大家交流共享。
话不多说，切入正题。
计算机视觉识别的难点
计算机视觉识别不像人眼，能够快速准确地识别物体，我们生来就有相应的生理结构（人眼和人的视觉系统）来做这件事情，而计算机所见到的图像是由不同的像素点构成的，每个像素点又有各自的特征（比如RGB），所以图像在计算机眼中就是一堆数字，不同的构成或许都代表同一种物体。
在这种情况下，识别物体就会有很多困难，最为显著的五点：
- 照明条件
- 变形
- 遮挡
- 图片背景混乱
- 类内差异
这些都要求我们的算法具备鲁棒性。
硬编码尝试
- 计算图像边缘
尝试把各种边、角、各种形状分类好，写一些规则来识别。
但这种方法其实不好：
- 容易出错。
- 对另一种对象进行分类时，要重头再来，不可推演。
新的识别算法
可以拓展到识别世界上各种对象——数据驱动的方法。
不写具体的分类规则来识别特定事物，取而代之：
- 搜集包含图片和标签的数据集。
- 使用机器学习的方法训练出分类模型。
- 识别新图片，优化模型。
两个函数：训练函数和预测函数。
- 训练函数：接收图片和标签，输出模型。
- 预测函数：接收一个模型，对图片种类进行预测。
如何比较两张图
- L1:曼哈顿距离
两张图间有456（L1距离）的差异。
最近邻算法：
这种算法尽管非常简单，但其训练函数的运行时间为O(1)，而预测函数的运行时间为O(N)，跟现实需求不符，现实中可以允许训练模型花费大量时间但预测需要在很短时间内完成并返回结果。
而由于距离度量为1，即仅找寻最近距离的点时，不能很好地兼容噪点等干扰因素。优化方法为根据距离度量，找到最近的K个点，然后在这些相邻点中进行投票，从票数多的邻近点中预测出结果——K-最近邻算法（KNN）。
相较而言，K越大，决策边界更平滑。
但这种算法的表现效果并不好。在考虑计算距离时，可以选择不同的距离度量，之前用的L1，其实也可以考虑L2。
- L2:欧式距离
L1距离取决于选择的坐标系统，转动坐标轴将带来L1距离的改变，而对L2无影响。
所以如果输入的特征向量中的各个元素都有实际意义，选L1可能更好。
但如果只是某空间的一个通用向量，不知道实际代表的含义，选L2更合适。
设置超参数
上例中的K和距离度量称为超参数(人为设置而非从训练数据中学到)：需要根据具体情况选择。
- 直接选择在数据集中表现最好的超参数。
❌：K=1的时候，即可很好地分类数据集，而选择大一些的K值，尽管对原数据集可能有个别差错，但对在训练集中未出现过的数据分类性能更佳。 - 将数据集分为训练集和测试集，选择在测试集中表现最好的超参数。
❌：仅可说明其在当前数据集中表现好，无代表性（对新数据来说）。 - 将数据集分为训练集、验证集和测试集，在训练集中用不同的超参数训练算法，在验证集中进行评估，然后将一组表现最好的超参数，用到测试集中获得结果。✅
（PS：训练集和验证集的区别在于，训练集同时知道图片和标签，而验证集仅知到图片，使用标签来验证结果正确与否）
- 交叉验证：保留部分数据集中的数据作为测试集，然后将训练数据分为多份，轮流把每一份都当作验证集，更加靠谱。（但实际上在深度学习中，训练大型模型时训练本身非常消耗计算能力，因此此法并不常用）✅
X轴表示K值，Y轴表示分类器对不同K在数据上的准确率，此例中K=7效果最好。
KNN不常用的几个原因
- 测试时运算时间过长
- L1/L2距离用在比较图像上不合适（视觉相似度）
- 维度灾难
