一、首先是一种非训练的方式直接比较后进行归类：
Nearest Neighbor:比较方式包括：L1距离，L2距离等
K-Nearnest Neighbors：找出K个最近的instances；超参数包括类别数K，距离计算L1或L2的选择。但是这种方法在图像分类中很少使用，因为其效率很低同时距离的计算鲁棒性不强。
**常用的解决超参数选择的问题的方法为：使用验证集或当数据量不大时使用交叉验证集，将数据集划分成训练集，验证集和测试集。
二、线性分类器
对于不同的类别，其在计算时可以直观地将参数理解为模板匹配。如下图：
**线性分类器的瓶颈：其只能解决线性可分的情况，对于一些线性不可分的情况则无法建立模型来实现准确的分类。如下图中的情况：
那么接下来的工作便是确定分类参数W，这也是分类训练的基本原理：初始化模型参数，计算损失函数，优化参数是损失函数之最小化。
三、神经网络用于分类
