Task01-数据加载及探索性数据分析

1. pandas基础

1.1 载入数据及观察数据

• 载入数据

  常用的为riead_csv,read_table

  如果数据量太大，内存无法一次读取，可是设置chunksize参数的大小，分块读取

  import pandas as pd
  data = pd.read_csv(path, chunksize = 1000, iterator = True)
  count = 0 
  for chunk in data:
      count += 1
      if count == 1:
          chunk.to_csv('test1.csv',index = False)
      elif count>1 and count<1000:
          chunk.to_csv('test1.csv',index = False, mode = 'a',header = False)
      else:
          break
  pd.read_csv('test1.csv')
  

• 观察数据（数据类型都为DataFrame）

  查看数据详细信息

  data.info()
  

  查看数据的前五行和后五行

  data.head(5)
  data.tail(5)
  

  查看数据是否为空

  data.isnull()
  

• 保存数据

  data.to_csv('test2.csv',encoding='utf-8')
  

1.2 两种数据结构

• Series

  由一组数据以及相对应的索引组成的类似一维数组的结构，索引在左，值在右

   obj = pd.Series([4, 7, -5, 3], index=['d', 'b', 'a', 'c'])
  

• DataFrame

  是一个表格型的数据结构

• data = {'state': ['Ohio', 'Ohio', 'Nevada', 'Nevada'],
          'year': [2000, 2001, 2002, 2003],'pop': [1.5, 2.4, 2.9, 3.2]}
  obj = pd.DataFrame(data)
  

1.3具体操作

• 查看DataFrame数据每列的名称

  data.columns
  

• 查看col列的值

  data['col']
  

• 删除col列

  del data['col']
  

• 隐藏col1,col2,col3列，如果想完全删除，可以使用添加inplace=True，覆盖原数据

  data.drop(['col1','col2','col3'],axis=1)
  //data.drop(['col1','col2','col3'],axis=1,inplace=True)
  

• 显示第100行col1,col2列的数据

  data.loc[[100],['col1','col2']]
  

• loc和iloc的区别

  使用行索引时用iloc,使用行标签时用loc

• 根据col列的值进行升序排序

  data.sort_values(by='col',ascending=True)
  

• 查看数据的基本统计信息

  data.describe()