1.数据集：关于某种事物记录的集合
1.2属性或特征：反应对象在某方面表现出来的性质；属性的取值成为属性值
1.3 特征向量：属 性 张 成 的 空 间 称 为 " 属 性 空 间 "、 " 样 本 空 间 " 或 " 输 入 空 间 " 例 如 我 们 把 " 色 泽 " " 根 蒂 " " 敲 声 " 作 为 三 个 坐 标 轴 ， 则 它 们 张 成 一 个 用 于 描 述 西 瓜 的 三 维 空 间 ， 每 个 西 瓜 都 可 在 这 个 空 间 中 找 到 自 己 的 坐 标 位 置 . 由 于 空 间 中 的 每 个 点 对 应 一 个 坐 标 向 量 ， 因 此 我 们 也 把 一个 示 例 称 为 一 个 " 特 征 向 量 "。
1.4 训练集和验证集
1.5回归：对连续数据的预测，分类：对离散数据的预测
1.6NFL定理：在所有问题出现的机率相同或者所有问题都同等重要的情况下，算法的期望值与算法无关、
2.模型评估与选择
我 们 把 分 类 错 误 的 样 本 数 占 样 本 总 数 的 比 例 称 为 " 错 误 率 " (error
rate) ， 即 如 果 在 m 个 样 本 中 有 α 个 样 本 分 类 错 误 ， 则 错 误 率 E = α /m ; 相 应 的 ，
1 一 α / m 称 为 " 精 度 "
2.1 我 们 把学 习 器 的 实 际 预 测 输 出 与 样 本 的 真 实 输 出 之 间 的 差 异 称 为 " 误 差 " (error),
学 习 器 在 训 练 集 上 的 误 差 称 为 " 训 练 误 差 " (training e r r o r ) 或 " 经 验 误差 " (empirical error) ， 在 新 样 本 上 的 误 差 称 为 " 泛 化 误 差 " (generalization e r r o r ) .
2.2 过拟合与欠拟合
2.3 评估方法：留一法，交叉验证法，自助法
2.4 性能度量
对 学 习 器 的 泛 化 性 能 进 行 评 估 ， 不 仅 需 要 有 效 可 行 的 实 验 估 计 方 法 ， 还 需
要 有 衡 量 模 型 泛 化 能 力 的 评 价 标 准 ， 这 就 是 性 能 度 量 。
2.4.2 精度与错误率
