第4部分:数据分析基础

4.4 使用numpy和pandas分析数据

GapMinder数据分析：
    提出5个问题：
        1 GDP和就业率有什么关系？
        2 GDP和男女性毕业率有什么关系？
        3 GDP和预期寿命之间的关系？
        4 预期寿命和毕业率之间的关系？
        5 预期寿命和就业率之间的关系？
        6 美国就业率随着时间发生了什么变化？
        7 最近的数据最高和最低的就业率是多少？
        8 各国有没有共同的趋势

Python和numpy的对比分析：

+= 与 +的区别：

+= 也称为原位运算

+ 非原位运算

数组是原位(In-place)运算

4.4 使用numpy和pandas分析二位数据:

Pandas相比numpy的几点优势：
  可以有列名，索引，数据类型没有限制


访问DataFrame数据：
  获取一行数据: loc["行名"]、iloc[position]
  获取一列数据:pd['列名']或pd[position]

第五部分：模型的评估和验证

1评估指标:

1 评估指标注意事项：区分训练数据和测试数据。
2 分类和回归：
分类涉及到根据未见过的样本进行预测，并确定新实例属于哪个类别。
例如，可以根据蓝色或红色或者方形或圆形来组织对象，以便在看到新对象时根据其特征来组织对象。
在回归中，我们想根据连续数据来进行预测。
例如，我们有包含不同人员的身高、年龄和性别的列表，并想预测他们的体重。
3 分类指标和回归指标：
在分类中，我们想了解模型隔多久正确或不正确地识别新样本一次。我们会探讨准确率、精确率、召回率和 F 分数。
而在回归中，我们可能更关注模型的预测值与真正值之间差多少，我们会探讨平均绝对误差和均方误差。
4 准确率
准确率实际上是所有被正确标示的数据点除以所有的数据点。
7 准确率的缺陷：
   7.1在出现偏斜类时出现问题
   7.2 期望某人的概率最高的检测
   7.3 期望某人概率最低的检测
8 选择最合适的指标：
    我们允许误测，但决不允许遗漏  
    熟悉自己选择指标的缺点及常见错误，并尽量避免。
9 混淆矩阵(confusion matrix)：
14 决策树混淆矩阵：
15 准确率(precision)和召回率(Recall)
24 F1分数：
    可将 F1 分数理解为精确率和召回率的加权平均值，其中 F1 分数的最佳值为 1、最差值为 0：
    F1 = 2 * (精确率 * 召回率) / (精确率 + 召回率)
25 回归指标
26 平均绝对误差：
    平均绝对误差的计算方法是，将各个样本的绝对误差汇总，然后根据数据点数量求出平均误差。
    通过将模型的所有绝对值加起来，可以避免因预测值比真实值过高或过低而抵销误差，并能获得用于评估模型的整体误差指标。
27 均方误差
28 回归分数函数：
    其中之一是R2分数，用来计算真值预测的可决系数。在 scikit-learn 里，这也是回归学习器默认的分数方法。
    另一个是可释方差分数
    虽然眼下我们不会详细探讨这些指标，一个要记住的重点是：
    回归的默认指标是“分数越高越好”；即，越高的分数表明越好的表现。
    而当我们用到前面讲的误差指标时，我们要改变这个设定。

F1分数相关资料
平均绝对误差和如何在 sklearn 中使用它的更多信息
均方误差
R2分数，
可释方差分数

填充混淆矩阵.png

决策树混淆矩阵.png

准确率和召回率.png

准确率和召回率公式.png

2 误差原因：

1 误差原因：
    在模型预测中，模型可能出现的误差来自两个主要来源，即：
    因模型无法表示基本数据的复杂度而造成的偏差（bias），
    或者因模型对训练它所用的有限数据过度敏感而造成的方差（variance）。
2 偏差：
    如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。
    这样一来，模型一直会系统地错误表示数据，从而导致准确率降低。这种现象叫做欠拟合（underfitting）。
    简单来说，如果模型不适当，就会出现偏差。
    举个例子：如果对象是按颜色和形状分类的，但模型只能按颜色来区分对象和将对象分类（模型过度简化），因而一直会错误地分类对象。
3 方差：
   在训练模型时，通常使用来自较大训练集的有限数量样本。
    如果利用随机选择的数据子集反复训练模型，可以预料它的预测结果会因提供给它的具体样本而异。
    在这里，方差（variance）用来测量预测结果对于任何给定的测试样本会出现多大的变化。

   出现方差是正常的，但方差过高表明模型无法将其预测结果泛化到更多的数据。
     对训练集高度敏感也称为过拟合（overfitting），而且通常出现在模型过于复杂或我们没有足够的数据支持它时。

   通常，可以利用更多数据进行训练，以降低模型预测结果的方差并提高精度。
    如果没有更多的数据可以用于训练，还可以通过限制模型的复杂度来降低方差。 

第5部分:预测波士顿房价：

问题1 ：在已经安装了python3.x的系统里，怎么使用python2.x?
    安装anaconda
     conda create -n py2 python=2.7
            #
    # To activate this environment, use:
    # > source activate py2
    #
    # To deactivate an active environment, use:
    # > source deactivate
    #

Tornado:

这是python的web框架和异步网络请求库。