看了斯坦福的机器学习视频，讲到欠拟合和过拟合，说一点自己的理解并记录下来。
1）"high bias", 欠拟合时出现。假设线性拟合公式: y=theta*x + bias，当欠拟合时，theta比较小，起的贡献比较小，相对之下，bias起的作用大，所以，分类线就成了一条水平的直线，所以是欠拟合。
2）"high variance"，过拟合时出现。过拟合时，训练集的loss接近0，但是对未知的测试集表现可能不好。感觉是，分类曲线比较复杂，各种转折，theta的取值可能比较大。预测时，方差就会比较大，好的结果可能很好，差的结果可能很差。
增加两点：
关于训练集和测试集/验证集上的误差与模型复杂程度的关系如下：随着模型复杂度的升高，训练集上的误差是逐渐降低的，甚至接近0；测试集/验证集上的误差是先是逐渐下降，然后到达一定的点以后开始逐渐上升，是开口向下的抛物线。
当欠拟合时，即"high bias"，训练集和测试集/验证集的误差都很高；当过拟合时，即"high variance"，训练集上误差很低，甚至接近0，但是测试集/验证集上误差很高。所以，以上两点可以用来判断到底是欠拟合还是过拟合。
