pandas提供了一些用于将表格型数据读取为DataFrame对象的函数，期中read_csv和read_table这两个使用最多

• 使用read_csv读取
• 使用read_table读取

import numpy as np
import pandas as pd
from pandas import Series,DataFrame

df1 = pd.read_csv('./data/type_line')  # read_csv默认是按照，去分割的 遇到-不分割 当成了一块内容
df1 = pd.read_csv('./data/type_line',sep='-')  # 如果不是逗号分割的 需要指定分隔符
# 默认会把第一行当成列名 如果第一行不是列名 是内容 可以设置header参数为None
df1 = pd.read_csv('./data/type_line',sep='-',header=None) 
df1.shape
df1

# 用来读取 table separated value tsv文件 是用\t分割的一系列值
pd.read_table('./data/wheats.tsv')
pd.read_table('./data/wheats.tsv',header=None)
# read_table也可以读其他类型的文件 只不过要指定分隔符
pd.read_table('./data/type_comma')
pd.read_table('./data/type_comma',sep=',')
pd.read_csv('./data/wheats.tsv',sep='\t',header=None)

读写excel

使用 pd.read_excel() 读取excel表格
使用 df.to_excel() 输出excel表格
可能需要安装库 >>> conda install openpyxl >>> conda install xlsxwriter >>> conda install xlrd

df2 = pd.read_excel('./data/jfeng.xlsx')
df2
# 要保存哪个DataFrame 就用这个DataFrame调用 to_excel方法 （注意是DataFrame对象 不是pandas模块） 
df2.to_excel('./jfeng.xlsx')

读取sqlite文件（其他数据库文件也是类似的操作 这里以sqlite为例）

导包 import sqlite3

import sqlite3

连接数据库
sqlite3.connect('dbpath')

读取table内容
pd.read_sql("SQL语句", con)

写入数据库文件 df对象.to_sql('table_name',connection)

操作数据库 connection.execute(SQL语句)

connection = sqlite3.connect('./data/weather_2012.sqlite')
connection

# 数据库可视化工具 mysql-Navicat MongoDB-robot 3T sqllite-SQLite Expert Personal
# sql, con, index_col=None
# 查询： 传入查询语句 连接对象 设置索引列
pd.read_sql('select * from weather_2012',connection)
pd.read_sql('select * from weather_2012',connection,index_col='index')

# 创建表格 把df2这个表格存入数据库
# 参数 name, con 要新建的表格的名字 连接对象
df2.to_sql('jfeng',connection)
# 删除表格
connection.execute('drop table jfeng')  # drop table 要删除的表格名

使用read_csv直接读取网络上的数据

url = 'https://raw.githubusercontent.com/datasets/investor-flow-of-funds-us/master/data/weekly.csv'

url = 'https://raw.githubusercontent.com/datasets/investor-flow-of-funds-us/master/data/weekly.csv'
pd.read_csv(url)

透视表

各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具。它根据一个或多个键对数据进行聚合，并根据行和列上的分组键将数据分配到各个矩形区域中

data = np.random.randint(60,100,size=(6,2))
columns = ['height','weight']
df = DataFrame(data=data,columns=columns)
df['age'] = [20,18,30,26,22,32]
df['smoke'] = [True,False,True,False,False,False]
df['sex'] = ['male','female','male','male','female','female']
df

行分组透视表 设置index参数

列分组透视表 设置columns参数

行列分组的透视表 同时设定index、columns参数

fill_value：替换结果中的缺失值

# 男性的平均年龄 和 女性的平均年龄

df.groupby('sex').groups
df.groupby('sex')['age'].mean()
df.groupby('sex')[['age','height','smoke','weight']].mean()

# 透视表
pd.pivot_table(df,index='sex')
pd.pivot_table(df,columns='sex')

交叉表

是一种用于计算分组频率的特殊透视图,对数据进行汇总

pd.crosstab(index,colums)

• index:分组数据，交叉表的行索引
• columns:交叉表的列索引

# 男性和女性 吸烟和不吸烟 的人数
pd.crosstab(index=df.sex,columns=df.smoke)
pd.crosstab(index=df.smoke,columns=df.sex)

matplotlib

目录

• 一、Matplotlib基础知识

• 二、设置plot的风格和样式

  • 1、点和线的样式
  • 2、同时设置多个曲线样式
  • 3、曲线样式的三种设置方式
  • 4、X、Y轴坐标刻度

• 三、2D图形

  • 1、示例
  • 2、【重点】直方图
  • 3、【重点】条形图
  • 4、【重点】饼图
  • 5、【重点】散点图

=============以上为重点=================

• 四、图形内的文字、注释、箭头

  • 1、图形内的文字
  • 2、注释
  • 3、箭头

• 五、3D图

  • 1、曲面图

一、Matplotlib基础知识

Matplotlib中的基本图表包括的元素

• x轴和y轴 axis 水平和垂直的轴线

• 轴标签 axisLabel 水平和垂直的轴标签

• x轴和y轴刻度 tick 刻度标示坐标轴的分隔，包括最小刻度和最大刻度

• x轴和y轴刻度标签 tick label 表示特定坐标轴的值

• 绘图区域（坐标系） axes 实际绘图的区域

• 画布 figure 呈现所有的坐标系

只含单一曲线的图¶

# 正弦曲线
# 先获取x -π到π
x = np.arange(-np.pi,np.pi,0.1)  # [start,] stop[, step,] 开始值 结束值 步长值
x
y = np.sin(x)
y
plt.plot(x,y)  # plot(x, y) 最简单的参数形式 传入x和y的值

包含多个曲线的图

1、可以使用多个plot函数（推荐），在一个图中绘制多个曲线

# 绘制两个图 一个是 -π到0 另一个是0到π
x1 = np.arange(-np.pi,0,0.1)
x2 = np.arange(0,np.pi,0.1)
# 方式一：多次使用 plt.plot绘制多个函数
plt.plot(x1,np.sin(x1))
plt.plot(x2,np.sin(x2))

2、也可以在一个plot函数中传入多对X,Y值，在一个图中绘制多个曲线

x1 = np.arange(-np.pi,0,0.1)
x2 = np.arange(0,np.pi,0.1)
# 方式二 调用一次plt.plot里面传入多个x和y的值 plt.plot(x1,y1,x2,y2,...xn,yn)
plt.plot(x1,np.sin(x1),x2,np.sin(x2))

子画布¶

# 先调整一下画布大小
plt.figure(figsize=(8,8))
# For example, ``subplot(2, 3, 3)`` and ``subplot(233)`` 
# subplot(2, 3, 3) 创建一个子画布 把原来的大的画布 上下分成2部分 左右分成3部分 占用哪个部分
# axes1 = plt.subplot(2,2,1)  # 根据传入的参数创建子画布 返回坐标系对象
# axes2 = plt.subplot(2,2,2)
# axes3 = plt.subplot(2,2,3)
# axes4 = plt.subplot(2,2,4)
axes1 = plt.subplot(4,2,1)  # 根据传入的参数创建子画布 返回坐标系对象
axes2 = plt.subplot(4,2,4)
axes3 = plt.subplot(2,2,3)
axes4 = plt.subplot(2,2,4)
# 接下来注意 是在每一个小的坐标系上绘图 而不是在大的画布上绘图 所以 是用对应的axes对象来调用plot
axes1.plot(x,np.sin(x))
axes2.plot(x,np.cos(x))
axes3.plot(x,np.tan(x))
axes4.plot(x,np.tanh(x))

网格线

使用plt.grid方法可以开启网格线，使用plt面向对象的方法，创建多个子图显示不同网格线

• axis显示轴向
• color代表颜色
• alpha表示线的明暗程度
• lw代表linewidth，线的粗细

plt.figure(figsize=(8,8))
axes1 = plt.subplot(221)
axes2 = plt.subplot(222)
axes3 = plt.subplot(223)
axes4 = plt.subplot(224)
# 给坐标系添加网格
# plt.grid()  # 注意plt.grid()确实可以绘制网格线 但是如果有子画布 plt.grid只会给离他最近的那个子画布绘制网格线
axes1.grid()  # axis='both' 默认水平竖直方向都有网格线
axes2.grid(axis='x')  # 在轴上方绘制网格线
axes3.grid(axis='y')
axes4.grid(color='red',linewidth=2,alpha=0.2)

坐标轴的轴线

plt.axis([xmin,xmax,ymin,ymax])

# 绘制圆形
x = np.linspace(-1,1,100)
x
# x**2+y**2=1
# y**2=1-x**2
# y=(1-x**2)**0.5
y=(1-x**2)**0.5
plt.plot(x,y)
plt.plot(x,-y)
plt.axis([-2,2,-2,2])  # [x轴的起始值,x轴的结束值,y轴的起始值,y轴的结束值]
plt.axis([-1.5,1,-5,3])
# plt.axis([0.5,0.5,1,1])

plt.axis('xxx') 'off'、'equal'……

设置坐标轴类型
关闭坐标轴

x = np.linspace(-1,1,100)
x
# x**2+y**2=1
# y**2=1-x**2
# y=(1-x**2)**0.5
y=(1-x**2)**0.5
plt.plot(x,y)
plt.plot(x,-y)
plt.axis('equal')  # 让x轴和y轴等长
plt.axis('off')

xlim方法和ylim方法

除了plt.axis方法，还可以通过xlim，ylim方法设置坐标轴范围

x = np.linspace(-1,1,100)
x
# x**2+y**2=1
# y**2=1-x**2
# y=(1-x**2)**0.5
y=(1-x**2)**0.5
plt.plot(x,y)
plt.plot(x,-y)
plt.xlim([-3,3])
plt.ylim([-2,2])

坐标轴的标签

plt.xlabel( )方法 和 plt.ylabel( )方法
例如 plt.ylabel('y = x^2 + 5',rotation = 60)

• color 标签颜色
• fontsize 字体大小
• rotation 旋转角度

# 正弦曲线
x = np.arange(-np.pi,np.pi,0.1)
x
y = np.sin(x)
plt.plot(x,y)
# s x标签的内容
plt.xlabel('x')
plt.ylabel('f(x)=sin(x)')
plt.xlabel('x',color='orange',fontsize=20,rotation=20)
plt.ylabel('f(x)=sin(x)',rotation=20)
plt.ylabel('f(x)=sin(x)',rotation=90)  # y轴标题 默认就是旋转了90度

画布的标题

plt.title()方法

• loc 标题位置{left,center,right}
• color 标题颜色
• fontsize 字体大小
• rotation 旋转角度

# 正弦曲线
x = np.arange(-np.pi,np.pi,0.1)
x
y = np.sin(x)
plt.plot(x,y)
# 参数 s标题的内容
# plt.title('Sin(x)')
# plt.title('Sin(x)',color='red',fontsize=25,rotation=45)
# loc : {'center', 'left', 'right'},
# plt.title('Sin(x)',color='red',fontsize=25,rotation=45,loc='left')
plt.title('Sin(x)',color='red',fontsize=25,rotation=45,loc='right')  # 默认在中间

图例

legend方法

两种传参方法：

• 分别在plt.plot( )函数中增加label参数,再调用plt.legend( )方法显示
• 直接在legend方法中传入字符串列表 如：plt.legend(['normal','fast','slow'])

# 方式一 plt.plot()中传入名字
x = np.linspace(0,10,101)
x
plt.plot(x,x,label='normal')
plt.plot(x,2*x,label='fast')
plt.plot(x,x/2,label='slow')
plt.legend()
# 方式二 把名字一起传入 plt.legend()中
x = np.linspace(0,10,101)
x
plt.plot(x,x)
plt.plot(x,2*x)
plt.plot(x,x/2)
plt.legend(['normal','fast','slow'])

loc参数¶

• loc参数用于设置图例的位置，一般在legend函数内
• matplotlib已经预定义好几种数字表示的位置
  字符串 数值 字符串 数值
  best 0 center left 6
  upper right 1 center right 7
  upper left 2 lower center 8
  lower left 3 upper center 9
  lower right 4 center 10
  right 5
  loc参数还可以是2元素的列表，表示图例左下角的坐标

[0,0] 左下
[0,1] 左上
[1,0] 右下
[1,1] 右上
图例也可以超过图的界限loc = (-0.1,0.9)

data = np.random.randint(0,100,size=(10,3))
df = DataFrame(data,columns=list('ABC'))
df
plt.plot(df['A'])
plt.plot(df['B'])
plt.plot(df['C'])
# loc参数 The location of the legend 设置图例的位置
# plt.legend(['1','2','3'],loc=0)  # 
# plt.legend(['1','2','3'],loc=1)
# plt.legend(['1','2','3'],loc=2)
# plt.legend(['1','2','3'],loc=10)
# plt.legend(['1','2','3'],loc=[1,1])
# plt.legend(['1','2','3'],loc=[0,1])
# plt.legend(['1','2','3'],loc=[0,0])
# plt.legend(['1','2','3'],loc=[1,0])
plt.legend(['1','2','3'],loc=[1.2,-0.5])

ncol参数

ncol控制图例中有几列,在legend中设置ncol,需要设置loc

data = np.random.randint(0,100,size=(10,3))
df = DataFrame(data,columns=list('ABC'))
df
plt.plot(df['A'])
plt.plot(df['B'])
plt.plot(df['C'])
# plt.legend(ncol=2)
plt.legend(ncol=3)

二、设置plot的风格和样式

plot语句中支持除X,Y以外的参数，以字符串形式存在，来控制颜色、线型、点型等要素，语法形式为：
plt.plot(X, Y, 'format', ...)

点和线的样式

颜色

• 参数color或c
• 颜色值的方式
  • 合法的HTML颜色名
    • color = 'red'
  • 别名
    • color='r'
  • HTML十六进制字符串
    • color = '#eeefff'
  • 归一化到[0, 1]的RGB元组
    • color = (0.3, 0.3, 0.4)
      颜色 别名 HTML颜色名 颜色 别名 HTML颜色名
      蓝色 b blue 绿色 g green
      红色 r red 黄色 y yellow
      青色 c cyan 黑色 k black
      洋红色 m magenta 白色 w white

x = np.linspace(-np.pi,np.pi,100)
x
# 设置颜色
# plt.plot(x,np.sin(x),color='red')
# plt.plot(x,np.sin(x),c='red')
# plt.plot(x,np.sin(x),c='r')
# plt.plot(x,np.sin(x),c='g')
# plt.plot(x,np.sin(x),c='#aabbcc')
plt.plot(x,np.sin(x),c=(1,0.2,0.5))

透明度

plt.plot() 中的 alpha参数

x = np.linspace(-np.pi,np.pi,100)
plt.plot(x,np.sin(x),c=(1,0.2,0.5),alpha=0.2)  # 取值范围0-1

背景色

设置背景色，通过plt.subplot()方法传入facecolor参数，来设置坐标系的背景色

x = np.linspace(-np.pi,np.pi,100)
# plt.plot(x,np.sin(x),c=(1,0,0))  # 注意 facecolor='gray' 不是plt.plot()的参数
plt.subplot(facecolor='gray')  # 一定要注意 先画背景色 再划线 否则背景色就把线给盖住了
plt.plot(x,np.sin(x),c=(1,0,0))

线型和线宽

• 参数linestyle或ls
• linewidth或lw参数

x = np.arange(0,10,1)
x
# linestyle 线的样式
# plt.plot(x,x,linestyle='-')
# plt.plot(x,x,linestyle=':')  # dotted
# plt.plot(x,x,linestyle='--')  # dashed
# plt.plot(x,x,linestyle='-.')
# plt.plot(x,x,linestyle='steps')
# plt.plot(x,x,linestyle='None')
# plt.plot(x,x,linestyle='--',linewidth=5)
plt.plot(x,x,ls='--',lw=5)  # ls linestyle 线的样式 lw linewidth 线的宽度

破折线

dashes参数 eg.dashes = [20,50,5,2,10,5]

设置破折号序列各段的宽度

x = np.arange(-np.pi,np.pi,0.1)
y = np.sin(x)
# plt.plot(x,y,dashes=[10])  # 必须是偶数个值 否则会报错
# plt.plot(x,y,dashes=[10,10])  # 实现长10 间隙长10
# plt.plot(x,y,dashes=[10,5,5,2])
# plt.plot(x,y,dashes=[2,4,3,5,10,5])

点型

• marker 设置点形
• markersize 设置点形大小

x = np.arange(1,10,1)
x
y = np.sin(x)
# plt.plot(x,y)
# plt.plot(x,y,marker='1',markersize=20)
# plt.plot(x,y,marker='2',markersize=20)
# plt.plot(x,y,marker='1',markersize=20)
# plt.plot(x,y,marker='h',markersize=20)
# plt.plot(x,y,marker='H',markersize=20)
# plt.plot(x,y,marker='*',markersize=20)
# plt.plot(x,y,marker='|',markersize=20)
# plt.plot(x,y,marker='_',markersize=20)

x = np.arange(1,10,1)
x
y = np.sin(x)
plt.plot(x,y,marker='h',markersize=20,markeredgecolor='red',markeredgewidth=5,markerfacecolor='green')

更多点和线的设置

• markeredgecolor = 'green',
• markeredgewidth = 2,
• markerfacecolor = 'purple'

x = np.arange(1,10,1)
x
y = np.sin(x)
plt.plot(x,y,marker='h',markersize=20,markeredgecolor='red',markeredgewidth=5,markerfacecolor='green')

在一条语句中为多个曲线进行设置

多个曲线同一设置

属性名声明，不可以多参数连用

plt.plot(x1, y1, x2, y2, ...)

# 同时设置多个曲线的样式 （多个曲线样式相同）
x = np.linspace(0,100,30)  # 0-100要30个
x
# plt.plot(x1,y1,x2,y2,x3,y3...) 颜色 点的形状 线的样式
plt.plot(x,x,x,2*x,x,x/2,c='r',marker='*',ls=':')

多个曲线不同设置

多个都进行设置时，多参数连用 plt.plot(x1, y1, fmt1, x2, y2, fmt2, ...)

# 同时设置多个曲线的样式 （多个曲线样式不同）
x = np.linspace(0,100,30)  # 0-100要30个
x
# plt.plot(x1, y1, fmt1, x2, y2, fmt2, ...) fmt format 格式 格式化字符串 就是按照人家指定的格式去设置样式的字符串
# fmt = '[color][marker][line]' '颜色 点的样式 线的样式'
plt.plot(x,x,'ro:',x,2*x,'k*--',x,x/2,'c1-.')  # 青色 1 -.

三种设置方式

向方法传入关键字参数

plt.plot(...)

就是之前我们一直用的 调用plt.plot()绘图的时候往里面传参数的方式

优点：简洁方便 缺点：容易乱 没提示 可读性差

对坐标系使用一系列的setter方法

• axes = plt.subplot()获取坐标系
  • set_title()
  • set_facecolor()
  • set_xticks、set_yticks 设置刻度值
  • set_xticklabels、set_yticklabels 设置刻度名称

x = np.linspace(0,100,30)  # 0-100要30个
x
axes  = plt.subplot()
axes.plot(x,x,x,2*x,x,x/2)
axes.set_title('title')
axes.set_facecolor('gray')
axes.set_xlabel('x')
axes.set_ylabel('y')

对实例使用一系列的setter方法

• plt.plot()方法返回一个包含所有线的列表，设置每一个线需要获取该线对象
  • eg: lines = plt.plot(); line = lines[0]
  • line.set_linewith()
  • line.set_linestyle()
  • line.set_color()

x = np.linspace(0,100,30)  # 0-100要30个
x
lines = plt.plot(x,x,x,2*x,x,x/2)
lines[0].set_linewidth(5)
lines[1].set_linestyle(':')
lines[2].set_color('y')

X、Y轴坐标刻度

plt.xticks()和plt.yticks()方法

• 需指定刻度值和刻度名称 plt.xticks([刻度列表],[名称列表])
• 支持fontsize、rotation、color等参数设置

正弦余弦

x = np.linspace(-np.pi,np.pi,100)
x
plt.plot(x,np.sin(x))
# plt.xticks([-3,0,3])  # x轴线上的刻度
# plt.xticks([-np.pi,0,np.pi])
# plt.xticks([-np.pi,0,np.pi],['-π',0,'π'])
# plt.yticks([-1,0,1])
plt.xticks(np.arange(-4,5,2))
plt.grid()

# 关于grid密度的问题
x = np.arange(-np.pi, np.pi, step=0.1)
plt.plot(x,np.sin(x))
# plt.xticks(np.arange(-4,4,0.5))
plt.xticks(np.arange(-4,4,1))
plt.grid()