第三章 k 近邻法

k 近邻法 基本分类与回归方法，实际上利用训练数据集对特征向量空间进行划分。
基本三要素为：k值选择，距离度量，分类决策规则

► k近邻算法
1.根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x领域记作 $N_k(x)$
2.在 $N_k(x)$ 中根据分类决策规则决定x的类别y
$\begin{array}{c} y=arg\,\max_{c_j} \sum_{x_i\in N_k(x)} I(y_i=cj) \\ i=1,2,...,N; j=1,2,...,K \end{array}$
$I为指示函数，当y_i=c_j时为1，否则为0$
k邻近法没有显式的学习过程

► 距离度量
特征空间中两个实例点的距离是两个实例点相似程度的反映
$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T$
$x_j=(x_j^{(1)},x_j^{(2)},...,x_j^{(n)})^T$
$L_p(x_i,x_j)=(\sum_{l=1}^n)|x_i^{(l)}-x_j^{(l)}|^p)^{\frac 1p}，p≥1$
当p=2，欧氏距离
$L_2(x_i,x_j)=(\sum_{l=1}^n)|x_i^{(l)}-x_j^{(l)}|^2)^{\frac 12}$
当p=1，曼哈顿距离
$L_1(x_i,x_j)=(\sum_{l=1}^n)|x_i^{(l)}-x_j^{(l)}|)$
当p=∞，各个坐标距离的最大值
$L_∞(x_i,x_j)=(max_l|x_i^{(l)}-x_j^{(l)}|^p)^{\frac 1p}$

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

第三章 k 近邻法

推荐阅读更多精彩内容