从今天起，以kaggle为示例，进行数据分析的进一步学习。入门是titanic数据。
一、工作阶段
- 问题定义：搞清楚问题是什么？
- training 和 testing data
- 清洗数据
- 通过画图、比较等多种方式进一步探索数据
- 建立模型、预测并处理问题
- 可视化及报告
当然这个过程不是死板的step by step执行，在清洗数据时就可能要可视化，有的步骤要执行多次。
问题定义
“Knowing from a training set of samples listing passengers who survived or did not survive the Titanic disaster, can our model determine based on a given test dataset not containing the survival information, if these passengers in the test dataset survived or not.”
分析数据的手段
- 分类：样本分类，各个类的含义及相互间的关系
- 相关性：数据特征，特征与目标间的相关性，特征间的相关性。
- 转换数据：有的模型算法需要所有的特征转换为无量纲的数值，这个时候就需要将文本信息转为数值。
- 补充：填充missing values ，缺省值处理
- 修订：发现错误数据、异常数据
- 创造：基于现有特征创建新的特征，Andrew上课讲的内存/CPU
- 画图：怎样选择图形
参考实践
# data analysis and wrangling
import pandas as pd
import numpy as np
import random as rnd
# visualization
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
# machine learning
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC, LinearSVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.linear_model import Perceptron
from sklearn.linear_model import SGDClassifier
from sklearn.tree import DecisionTreeClassifi
导入数据
train_df = pd.read_csv('../input/train.csv')
test_df = pd.read_csv('../input/test.csv')
combine = [train_df, test_df]
分析数据
1、查看数据集有哪些特征
print(train_df.columns.values)
2、确定特征的类型
哪些特征是可分类的
可分类的特征：survived\sex\embarked
呈序列的特征：pclass
哪些特征是数字的
数字特征可以是：离散的、连续的和时间序列
连续的数字特征：age,fare
离散的数字特征：sibsp（子女个数）,parch（父母个数）
哪些特征是混合数字类型
字母和数字混合的类型：ticket、cabin
哪些特征包含错误
这个无法准确判断，可能的有名字，容易拼写错误
哪些特征包含空的值
cabin>age>embarked，这些可能需要填补缺失值
数字特征的分布是什么样的
- 共有891个样本
- survived：1 ，not survived:0
- 38%的样本 survived
- 75%的乘客没有和父母或子女一起旅行
- 30%的乘客有配偶或亲属
- 船费差异大，只有少于1%的人支付的费用高达512美元
- 少于1%的人年纪范围在65-80
3、可视化数据用于分析
年龄和是否得救之间的相关性
pclass与是否得救之间的相关性
不同embarked下pclass与得救的概率间的相关性
4、将一些不需要的属性直接删除
print("Before", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape)
train_df = train_df.drop(['Ticket', 'Cabin'], axis=1)
test_df = test_df.drop(['Ticket', 'Cabin'], axis=1)
combine = [train_df, test_df]
"After", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape
5、创造一些新的属性
如姓名属性中，可以提取出title的信息
